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В монографии рассмотрены основные аналитические, численные, 
планово-вычислительные и планово-экспериментальные методы для 
поиска и идентификации экстремумов целевых функций от одной ИЛИ 
от нескольких скалярных переменных. Столь обширный охват методов 
оптимизации обусловлен стремлением автора отобразить В одной книге 
проблему в целом. Даны характерные примеры, в том числе из общей и 
линейной алгебры, аппроксимационного и регрессионного анализа. 

Для специалистов в области анализа и решений экстремальных задач, 
а также научных работников, преподавателей, аспирантов и студентов 
физико-математических и технических специальностей. 
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К читателям 


В области теории функций, начиная с исторических работ Ферма, 
Ньютона и Лейбница, всегда особо пристальное внимание математиков 
привлекали постановка и разрешение экстремальных проблем. Впервые 
они произошли из ряда геометрических задач, которые, по сути, были 
продиктованы какими-либо жизненными ситуациями. 

За прошедшие три века развития строгого математического анализа 
сформировались главные направления и основные методы оптимизации 
целевых функций, т. е. выявления и идентификации их экстремумов. 

Как приоритетные в книге определяются следующие направления: 
— аналитическая оптимизация целевых функций от одной независимой 
или от одной зависимой скалярной переменной; 

— аналитическая безусловная оптимизация целевых функций от одной 
независимой векторной переменной; 

— аналитическая условная оптимизация целевых функций отзависимой 
или от ограниченной векторной переменной; 

— численная оптимизация целевых функций от скалярной переменной; 
— численная безусловная и условная оптимизация целевых функций 
от нескольких скалярных переменных; 

— планово-вычислительная оптимизация целевых функций; 

— планово-экспериментальная оптимизация целевых функций отклика. 

Главная цель данной книги состоит в том, чтобы в одном издании 
последовательно и в логически естественном порядке охватить всю 
проблему оптимизации целевых функций (вплоть до математического 
программирования) с заполнением имеющихся пробелов. 

В конце книги, как приложение, приведена физико-математическая 
кунсткамера с рядом проблемных вопросов и задач. 

Автор будет признателен тем читателям, кто выскажет свои отзывы, 
замечания или какие-либо полезные предложения по этой монографии 
на интернет-сайте: «В р://уууу\у. пиа$.пагод.ги/». 
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Аррепайх. Рвуз1са1-Мафетайса1 Кипз{сатега. 
РибН$В то Ноизе «Е!итаЙН», Мозсоуу, 2009. 
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«Мы любим всё — и жар холодных числ, 

И дар божественных видений, 

Нам внятно всё - и острый галльский смысл, 
И сумрачный германский гений.» 

Александр Блок «Скифы» 


Введение 


Широко известно крылатое изречение великого Леонарда Эйлера: 
«Так как здание всего мира совершенно и возведено премудрым Творцом, 
то в мире не происходит ничего, в чём бы не был виден смысл какого- 
то максимума или минимума». И, действительно, в качестве примера 
возьмём, казалось бы, весьма далёкую от математики музыкальную 
классику. Музыкальная мысль в процессе своего развития оказывает 
максимальное эмоциональное воздействие именно на самых высоких 
нотах, но и вызывает состояние наибольшего умиротворения, наоборот, 
на самых низких нотах. Для иллюстрации можно указать хотя бы на 
начальные темы из волшебной 19-й сонаты Бетховена. Или вспомним 
в том же аспекте патетические прелюдии Рахманинова с1$-то1 и э-п1о1. 
Это, конечно, только ярчайшие примеры из нашей духовной сферы. 

Если из указанных заоблачных вершин высочайшего искусства мы 
перенесёмся в сугубо прикладные направления деятельности человека, 
то здесь практически во всех еб сферах и на каждом шагу столкнёмся 
с разнообразными примерами поиска или уже состоявшейся реализации 
экстремальных решений, т. е. либо максимизации, либо минимизации, 
либо же их комбинации — для каких-то количественных величин. 

Как хорошо известно, первой в истории человечества поставленной 
задачей на экстремум считается Задача Дидоны (Финикийская царевна, 
ГХ век до н.э., согласно древнегреческой поэме Вергилия «Энеида»), 
или изопериметрическая задача. В наше время она формулируется так: 
«Наевклидовой плоскости среди замкнутых плоских кривых, имеющих 
заданную длину, найти кривую, охватывающую максимум площади.» 
Интуитивно эта древнейшая задача, согласно поэме, была практически 
разрешена самой Дидоной, указавшей охватить участок земли по кругу. 
В той же Древней Греции была поставлена и разрешена гораздо более 
сложная изопифанная задача, заключающаяся в нахождении замкнутой 
поверхности с заданной её площадью, охватывающей в пространстве 
максимум объёма. Историки науки не смогли установить, кому же из 
древнегреческих мыслителей первым удалось дать научно приемлемые 
доказательства свойств максимальной вместимости круга и шара. 
Но известно, что Аристотель (ТУ век до н.э.) пользовался в своих трудах 
этими геометрическими фактами, как уже вполне доказанными [34]. 
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Неустанное стремление математиков давать всё более строгие и 
изящные решения разнообразных экстремальных задач способствовало 
развитию математической науки и её фундаментальных основ. На этом 
пути получили значительные результаты многие корифеи математики — 
от Архимеда в Ш веке до н.э. до Штейнера и Вейерштрасса в ХХ веке. 

Однако тут следует заметить, что практически до конца ХУШ века 
в европейской математике превалировало геометрическое направление 
в постановке и разрешении самых различных экстремальных проблем. 
Даже математики зачастую узко именовались геометрами, хотя это и 
являлось тогда как бы высшей оценкой их деятельности. Но очевидно то, 
что аналитическим образом экстремальные задачи могут разрешаться 
в самом общем виде единственно тогда, когда эти задачи изложены на 
языке абстрактных математических понятий и операций с ними. 

Подобную сверхзадачу в новейшей истории развития мировой науки 
впервые поставил и корректно разрешил в 1629г. Пьер Ферма для класса 
степенных функций. Он изложил свой аналитический метод в письме 
к Жилю Робервалю (1638 г.) — известному математику того времени и 
одному из провозвестников зарождавшегося тогда дифференциального 
исчисления [58]. Затем Готфрид Лейбниц дал её решение для общего 
класса не менее чем дважды дифференцируемых функций, в том числе 
для иррациональных и трансцендентных, в своей знаменитой статье 
«Новый метод максимумов и минимумов ...» (1684 г.) [61]. В ней же 
фундаментальным образом были заложены и применены практически 
первоосновы дифференциального исчисления в принятых и поныне 
стройных обозначениях. Несколько ранее (1671 г.), как известно, основы 
дифференциального исчисления заложил Исаак Ньютон в собственной 
оригинальной форме флюксий. Опубликовать этот исторический труд 
удалось лишь через 65 лет посмертно, когда авторитет Ньютона стал 
непререкаемым. В рассматриваемом аспекте весьма интересно и то, что 
Ньютон основал ещё одно новое направление — численное решение 
скалярных уравнений, разработав классический метод касательных, 
в том числе и тех дифференциальных уравнений, которые возникают 
при решении экстремальных задач [63]. 

Как Ньютон, так и Лейбниц на отдельных частных примерах уже 
имели дело с приращениями функций от 2-х и более числа переменных. 
Но фундаментальным образом к анализу приращений и экстремумов 
для функций от нескольких переменных впервые подошёл в середине 
ХУШ века Леонард Эйлер [97]. Им были получены общие выражения 
для дифференциалов таких скалярных функций — частных и полного, 
найдено необходимое условие для неособого экстремума — обнуление 
первых дифференциалов функции, начат анализ природы экстремума 
исходя из значений вторых дифференциалов. 


Введение 7 


В результате дальнейшего продвижения по данному направлению 
математики естественно пришли к понятиям дифференциальных форм 
и установлению их взаимосвязи с экстремальным поведением функций. 
В частности, фундаментальные результаты по анализу влияния второй 
дифференциальной формы на характер экстремума функции в точке еб 
стационарности получил Джеймс Сильвестр. 

Постановку и эффективное решение задачи на условный экстремум 
функции от нескольких переменных реализовал Жозеф Луи Лагранж 
в 1797г.в фундаментальном труде «Аналитическая теория функций» [60]. 
Предложенный им и ставший сразу классическим метод множителей 
для решения задач на условный экстремум был навеян его более ранними 
результатами в области аналитической механики систем со связями. 

Новый прорыв в решении задач на условный экстремум численным 
путём сделали Курант и его школа в середине ХХ века [10], разработав 
метод штрафных функций (с применением большого параметра). 

Вообще численные методы решения экстремальных задач начали 
интенсивно развиваться только в ХХ веке в связи с появившимися тогда 
насущными практическими потребностями и в рамках общего процесса 
разработки разнообразных теорий оптимизации. Но фундаментальные 
истоки численных методов оптимизации для скалярных функций, или 
численных методов поиска экстремума находились в работах классиков 
математического анализа— Ньютона, Эйлера, Коши. Так, градиентный 
метод Огюстен Луи Коши изложил в отдельной статье в 1847 г. [56]. 

Общий метод Ньютона получил развитие и обоснование в работах 
Л.В. Канторовича [20]. Метод с малым параметром для решения ряда 
некорректных и почти вырожденных задач безусловной оптимизации 
скалярных функций при неточных значениях их исходных элементов, 
известный как метод регуляризации, предложил А.Н.Тихонов [36, 37]. 

Кроме того, в середине ХХ века с появлением основополагающей 
публикации Дж. Бокса и К. Уилсона [54] широкий ряд исследователей 
начал тоже дерзать в области оптимизации, максимально приближённой 
к практической и даже к производственной сфере. Данное направление 
логично получило общепринятое название планирование эксперимента 
при поиске оптимальных условий. Дж. Бокс также впервые опубликовал 
статью [55], направленную на применение планирования эксперимента 
непосредственно в сфере промышленного производства с практической 
целью повышения его производительности. Следует, однако, заметить, 
что математики-профессионалы высокого уровня в ХХ веке не проявили 
какого-либо заметного интереса к новому направлению в оптимизации, 
видимо, из-за его слишком прозаического характера. Это идёт вразрез 
с подходом отцов-основателей математического анализа. Отсюда в ряде 
публикаций в данной области имеется много явных несообразностей. 
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Главная цель данной монографии состоит в том, чтобы изложить 
в естественном порядке все основные направления оптимизации целевых 
функций, т. е. поиска и идентификации их максимумов или минимумов, 
и при необходимости в этом шаге заполнить имеющиеся «белые пятна». 
Как видно из содержания монографии, автор вовсе не придерживается 
компиляционного подхода, свойственного чисто учебной литературе. 

Однако за рамками этого изложения остаются геометрические методы 
решения экстремальных задач, так как все они имеют ярко выраженный 
эвристический характер и прямо не связаны с аналитическим подходом. 
В имеющейся литературе, например [5, 28, 34], геометрические методы 
оптимизации рассматриваются, как правило, отдельно и представлены 
на весьма фундаментальном уровне. 

Монография состоит из семи глав, охватывающих в максимально 
полном виде исходные аналитические основы методов оптимизации и 
далее производимые по иерархии численные, планово-вычислительные 
и планово-экспериментальные процедуры поиска экстремума целевой 
скалярной функции от одной и от нескольких переменных. 

В 1-й главе излагаются аналитические аспекты решения задач на 
безусловный экстремум целевой функции сначала от одной и затем от 
нескольких скалярных переменных (от одной векторной переменной). 
На характерных примерах иллюстрируются экстремальные свойства 
целевых функций. Рассматриваются решения конкретных задач, в том 
числе задачи на доказательство иерархии всех средних величин, которой 
в первых 4-х главах книги придаётся особое иллюстративное значение. 

Во 2-Й главе излагаются аналитические аспекты решения задач на 
условный экстремум целевой функции от векторной переменной — либо 
зависимой от какого-нибудь аргумента (параметра), либо ограниченной 
каким-нибудь уравнением связи. Такой двоякий подход к наложению 
условий на исходную переменную отвечает принятым двум способам 
задания связного многообразия, вложенного в пространство координат. 
Кроме того, в этой же главе рассматриваются аналитические аспекты 
предельных методов решения задач на условный экстремум. Наглядно 
показана геометрическая взаимосвязь всех трёх направлений условной 
оптимизации (включая и классический метод множителей Лагранжа) 
с применением характеристических проекторов в 2-х матричных формах. 
Выведено характеристическое (вековое) алгебраическое уравнение для 
условных собственных значений матрицы Гессе. 

В 3-й главе развит формальный анализ целевых скалярных функций 
откомплексных переменных. С применением этого анализа разработаны 
методы для безусловной и условной оптимизации целевых функций от 
одной или нескольких комплексных или от смешанных переменных — 
без увеличения размерности задачи как обычно вдвое. 
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В 4-Й главе, с учётом научных пристрастий автора, даны в качестве 
приложений важные примеры решения экстремальных задач из общей и 
линейной алгебры. Как один из результатов отметим теорему о полных 
требованиях к коэффициентам алгебраического уравнения степени п 
для вещественности и положительности его корней. Она ставит точку 
в решении алгебраической проблемы, исследуемой ещё Рене Декартом. 

В 5-Й главе рассматриваются основные численные методы поиска 
экстремума целевой функции 0-го, 1-го и 2-го порядка от одной или от 
нескольких скалярных переменных. Отдельно изложены методы поиска 
условного экстремума в 2-х вышеуказанных вариантах переменной. 

В 6-Й главе рассмотрены планово-вычислительные методы поиска 
экстремума целевой функции от нескольких скалярных переменных на 
основе её разностных моделей 1-го, неполного и полного 2-го порядка. 

В7-йглаве рассмотрены планово-экспериментальные методы поиска 
экстремума целевой функции от нескольких скалярных переменных на 
основе еб линейных регрессионных моделей, тождественных по форме 
разностным моделям неполного и полного 2-го порядка. 

В 6-йи 7-й главах применяются специальные планы расположения 
точек в координатном пространстве для разностных или регрессионных 
оценок расчётных характеристик — градиента и матрицы Гессе. 

Методы оптимизации излагаются последовательно в естественном 
порядке, подчёркивающем их генетическую взаимосвязь. 

Особотакже отметим то, что вданной монографии дляаналитических 
преобразований и формул автор придерживается, по сути, классических 
обозначений Лейбница. Разумеется, делаются минимальные поправки 
при операциях с векторными переменными, например, для обозначения 
тензор-производных. (Преобразования осуществляются по правилам 
линейной алгебры.) Подобные обозначения весьма наглядны и дают 
возможность существенно сократить объём, занимаемый формулами. 

Используемый в монографии фундаментальный материал изложен 
в литературе учебного и справочного характера [1, 3, 4, 7, 8, 12, 14, 15, 
17, 19, 21-25, 29 - 31, 33, 38, 39, 41, 43, 44, 46, 47, 49, 50, 52, 53, 59, 62]. 
В коллаже на обложке книги иллюстративно используется изображение 
с произведения «Мыслитель» Огюста Родена. В порядке исторической 
ретроспективы дан ряд ссылок на первопроходческие труды классиков, 
содержащие основополагающие идеи в области оптимизации. 

Книга адресуется как математикам-профессионалам, так и широкой 
аудитории читателей, интересующихся фундаментальной и прикладной 
математикой. Автор надеется, что читатели почерпнут из публикуемого 
труда для себя много нового и интересного в областях теории и практики 
оптимизации целевых функций, а также в применении математических 
методов оптимизации при решении конкретных практических задач. 
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1. Обозначения арифметических пространств 


(@ — вещественная числовая ось, 

< — вещественное аффинное пространство размерности п, 

«1 — вещественное евклидово пространство размерности п, 
фк— аффинное факторное пространство размерности К, 

фе" } — расширенное факторное пространство размерности К- 1, 
/— область определения целевой функции, 

< — отрезок (закрытый интервал) на (@, 

7" — прямоугольная арифметическая область в <#1, 1 или фк, 
@— комплексная числовая ось, 

@п — комплексное аффинное пространство размерности п, 


96" — комплексное эрмитово пространство размерности п. 


2. Некоторые общие обозначения 


с — биномиальные коэффициенты, 

гапо ...—ранг матрицы ..., 

р— уровень экстремума или перегиба (стационарности), 

зи $ — точки стационарности на (@ и на ©#1 или «1, 

5° и $* — точки экстремума (максимума или минимума) здесь же, 
9 и$. — точки максимума здесь же, 


5 и5 —точки минимума здесь же, 





5* — точка стационарного перегиба на (@, 

$+ — точка стационарной седловины на © 1 или <, 

^, Хи А— скалярный, векторный и матричный множители Лагранжа, 
ЛМ 5 иа- 0 — большой и малый параметры в предельных методах. 
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3. Обозначение матриц и матричных характеристик 


А — прямоугольная либо пха, либо тхп-матрица, 

А’— транспонированная матрица, 

А * — квазиобратная от А матрица Мура — Пенроуза размера либо 
ахп, либо пжит, (А’)* = (А*)'; 

«ит А›, <Кег А› и чт А›, «Кег А’ — образ и ядро матриц А и А’; 


для исходной пх4-матрицы А (п> 4): 
АА'и А’А — внешняя и внутренняя гомомультипликация для А, 


= 
’ . 
АА” = АА* — проектор в < на ‹йп А› параллельно 


«Кег А’, = «Кег А›| или ортопроектор в < " на ‹ип А›, 
С 


АА’ = [1 -АА*]|— проектор в ©" на ‹Кег А> = «Кег А›; параллельно 
— 


= 


‹ип А> или ортопроектор в <" на ег А» = Кег А», ,(АА’+АА”=1; 


для исходной тхп-матрицы А (п> м): 
А’'АиАА' — внешняя и внутренняя гомомультипликация для А, 


ре 
/ . * 
А’А =А*А — проектор в с на т А’ = ип А» параллельно «Кег А› 
ТВ. 
или ортопроектор в <" на ‹ип А’, = ат Ау, 


и 
А’А=[- А*А]— проектор в <" на Кег А› параллельно 
= > 
«т А’ = «ип А›р, или ортопроектор в <" на ег А, (А’А+А’А=1; 


В — квадратная пхп-матрица, 

С — несингулярная клеточная матрица (4её С = 0), 

Р — диагональная матрица, О, — масштабная матрица (4её О 5 0), 
Е— матрица единичного базиса, 

@ = СО" — матрица Гессе, 

Н эрмитова матрица, © — косоэрмитова матрица, 

| единичная матрица, (— тотально-единичная матрица, 

№ нормальная матрица, 

Р— простая матрица, 

В — пхп-матрица ортогонального преобразования в <>", 

5 — симметричная матрица, К — кососимметричная матрица, 
У — матрица линейного модального преобразования в < #1, 
1— нулевая матрица. 
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4. Обозначения переменных и функций 


хи х — независимые скалярная и пх[-векторная переменные, 


х:х =х(и) или и = и(Х) — зависимая скалярная переменная, 
х : х= х(и) — зависимая пх!-векторная переменная, 
х= / = Ки) — линейная зависимая пх[-векторная переменная, 


где и — 4х1-векторная независимая переменная, 
х: В =В(®) = 0 — ограниченная пх1-векторная переменная, 





х=/: в = В (1) = 0 — линейная ограниченная пх1-векторная переменная, 
где В — п1х1-векторная функциональная переменная, 
У(Х) и у(х) — целевые вещественные скалярные функции от Х и отх, 
[(х) — целевая вещественная скалярная функция 1-го порядка от х, 
9(х) — вещественная скалярная функция 2-го порядка от х, 
К(х) — вещественная скалярная функция неполного 2-го порядка от Х, 
7(х) — комплексная функция от комплексной переменной х, 
У = (х, Хх) —2пх1 бинарная комплексная переменная, 
в частности, для одномерного аргумента п = 1, 
Ф /(х) и Б /(х) — композиционная функция с большим параметром // 
и её градиент, 
Ф(х) иБ,(х) — композиционная функция с малым параметром @ 
и её градиент, 
К /(х) — композиционная функция Куранта, 
Т,(х) — композиционная функция Тихонова, 
0(х) — стабилизатор-функция в методе регуляризации Тихонова. 


5. Обозначения дифференциалов, приращений, 
производных и интегралов, в том числе формальных 


4х =Ах — дифференциал, или приращение независимой переменнойх, 

ду, 4?у, ЗРу— 1, 2, р-е дифференциалы целевой функции у, 

ду, А2у, АРу— 1, 2, р-е приращения целевой функции у, 

аХ, 4х, 91%х— 1,2, 4-е дифференциалы зависимой переменной Х, 

АХ, А2Х, 49% — 1,2, -е приращения зависимой переменной Х, 

Чх и Ох, — полный и частный дифференциалы независимой переменной х 
или свободный полный и частный дифференциалы переменной х%, 


2 абы е 7 
ЧХ, 47Х и дх,, д°Х; — условные полные и частные дифференциалы 
зависимой или ограниченной переменной х, 
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Чу(х=о©), 4?у(х=е) — дифференциалы у, отсчитываемые от точки с, 


4у 


= 2(х) — градиент функции У(Х), или 1-я тензор-производная, т. е. 








4х 
1хп-вектор 1-ых частных производных, 
Чу 4 _ 42 
; О(х) ; [@(х)] —матрица Гессефункцииу(х),или2-я 
ах’ах 4х 4х 


тензор-производная, т. е. пхП-матрица 2-ых частных производных, 


Гау| и Га?у |— условные 1-йи 2-й дифференциалы функции У(Х), 








ду 42 у 
и ; условные градиент и матрица Гессе для у(х), 
4х 4х’Ах 
4х ди 9 .. 
‚ -_ и-_—_ Пха, хп и тхп-матрицы Якоби векторных функций 
Чи 4 4х 


х=х(и), и = (Хх) и В = В(Х), или их 1-ые тензор-производные, 

т.е. двумерные матрицы частных производных, 
475 а? ‚а? 
ди’ди’ 4х4х ах’ах 


и=и(Х) ив = В(Х), т.е. трёхмерные матрицы частных производных, 





2-ые тензор-производные функций х = х(\), 


Хе (х) — отношение Релея от векторного параметра х, 

Йе (х, у) — бинарное отношение Релея от векторных параметров хи у, 
О(х) — диагональная пхп-матрица однородных частных производных, 
р(х) = [<@<)Г' : (х) — директивный вектор 2-го порядка, 

<) = РОГ" . #(х) — директивный вектор неполного 2-го порядка, 


Ра(х) и 1 (х) — регуляризованные по Тихонову те же векторы; 


для функций от комплексных переменных у(х, х) = у(\): 

4х и Ах — формальные дифференциалы одномерных комплексных 
переменных Хх их, ЧМ = (ах, 4х); 

4х, дх; и 4х, Ох; — полные и частные формальные дифференциалы 
многомерных комплексных переменных х их, ЧМ = (ах, 4х); 


4...и 0...— формальные полный и частный дифференциалы функции ..., 


для функций от комплексных переменных р(х, х) и р(х, х): 

|...Фки]...а х— формальные интегралы от функций ... по одномерным 
комплексным переменным Хх их, 

|...4хи]...4 х— формальные интегралы от функций ... по многомерным 


комплексным переменным хи х. 
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6. Обозначения в планово-вычислительных 
и в планово-экспериментальных методах оптимизации 


у = У(®) = У(х|›х», ... ‚ Х„) — оптимизируемая целевая функция от х, 

у= (0 =9(Ц, $, ... ‚ ) —эта же функция от нормированной (Хх), 

К — количество частных факторов 1; в модели линейной регрессии у, 

№ количество точек в плане вычисления или эксперимента, 

квадрантный п-симплекс — план, в котором одиночные точки находятся 
на всех ортах в 1-м квадранте и одна в центре, М =п- 1, 

осевой п-крест — план, в котором точки находятся в вершинах креста, 
совмещённого с координатными осями, и одна в центре, М =2п + 1, 

п-СКП — симметричный композиционный план, состоящий из осевого 
и координатно плоскостного п-креста, М = 202 + 1, 

п-куб— план, в котором точки находятся в вершинах центрального куба, 
все грани которого перпендикулярны осям координат, М = 21, 

п-ЦКП — центральный композиционный план, состоящий из П-куба 
(или его дробной т-реплики) и осевого п-креста, М=2+2п +1, 

& — нормирующее отношение плеч осевого П-креста и сторон п-куба, 

П— количество опытов в отдельных точках плана, 

М — общее количество опытов во всех точках плана, 

У(®) или У(ху, х,, ..., х„) — оценка значения целевой функции отклика, 
имеющая только случайную ошибку измерения в плановых методах, 

У(х) или У(х |, Х,, ..., х,) — разностная модель целевой функции и её 
оценка на области плана по данной модели, 

во 5; оценки скалярных коэффициентов разностной модели; 

У(х) или У(Х|, Хх, ..., х,) — регрессионная модель целевой функции и 
её оценка на области плана по данной модели, 

5,5, 5. 5; оценки скалярных коэффициентов модели регрессии; 


5, С, О, р, ]— разностные оценки данных характеристик, 


5, С, О, р, | регрессионные оценки данных характеристик, 

у = Уу(а-г) — профиль функции при движении по вектору Г в ©, 

и; или у, — факторы, образуемые из х;, при линейной регрессии у, 
и =ц(и 1,9, ..., ик), У = (1, м), причём и; = У; при1 я 0, и, = 0, Уи = 1, 
Ь= (5, Ь,, ,, с Ь‚ ) коэффициенты линейной регрессии У, 


в = (В, В, : т а Вх) коэффициенты линейной регрессии У|У. 
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7. Обозначения вероятностных и статистических 
характеристик 

У— выборочное среднее арифметическое для случайных величин у, 
Х — среднее арифметическое для величин х, 

7<...) — доверительная вероятность события <...), 

пиц...} — математическое ожидание, в т. ч. случайной величины {...}, 


?ио-{...} — квадратичная дисперсия, в т. ч. случайной величины {...}, 


{6} 
Т- распределение Стьюдента, 

Т.— критическое значение Т (То ри Тео) одно- и двустороннее), 
2 — распределение Пирсона, 

Е распределение Фищера — Снедекора, Е’ — критическое значение Е, 


аа 


и $ — выборочная дисперсия, смещённая и несмещённая, 

$ — выборочное среднее квадратичное отклонение, 

8 2 — выборочная дисперсия воспроизводимости модели регрессии, 
зна’ (У, У) — выборочная дисперсия адекватности модели регрессии, 

К число степеней свободы данной статистики (случайной величины), 
УСУХ) = и {УСЯх)} — плановая ковариация у и Х при регрессии Ух, 
у(Ух) — выборочная ковариация у и х при регрессии У|х, 

А2(х) = и{А7(х)} — плановая дисперсия х при регрессии Ух, 

А2(у) = и{52(У[х)} — плановая дисперсия У при регрессии У|х, 

52(х) — выборочная дисперсия У при регрессии У|х, 

Кох, 9) 
О или У — матрица планирования, \/ — информационная матрица, 


— выборочный коэффициент линейной корреляции у их, 


С=М "о {5 — дисперсионно-ковариационная матрица, 

о2в,) — плановая дисперсия коэффициента В 

УВ, В. )— плановая ковариация коэффициентов В, и В, 

(В, в.) — плановый коэффициент линейной корреляции В, и в, 
Ч[у(®)] — общая ошибка модели в плане эксперимента, 

А[УС®)] — систематическая ошибка модели (плановое смещение), 
6[У(х)| — случайная ошибка модели (случайное отклонение), 

и у — относительные вклады случайной и систематической ошибок, 


Е — относительная ошибка модели целевой функции, %. 


16 Используемые обозначения 


8. Исп ользуемые символы 


' —— знак простого транспонирования, 


* знак эрмитового транспонирования, 

<—_ множество ... принадлежит множеству ..., 
<—— множество ... принадлежит или тождественно множеству ... , 
Е элемент ... принадлежит множеству ... , 

# — элемент ... не принадлежит множеству ... , 
\›— знак объединения множеств, 

=—— знак тождества множеств, 

(...)— множество элементов ..., 

^— предикат «...и...», и— предикат «... или ...», 
= или —> — предикат «из... следует ...», 

< или <— — предикат «... следует из ...», 

<> или <> — предикат «... равносильно ...», 

> — больше, > — больше или равно, 

<— меньше, < — меньше или равно, 

У... — любой элемент ..., 

[...|— целая часть числа ... , 

|...|—абсолютное значение (модуль) числа ... , 
|...||— модуль вектора ... , 

| а | — вектор или матрица из элементов ..., 
> — знак алгебраического суммирования, 

Ф — знак прямого суммирования, 

--— знак задаваемого интервала, 

*** — знак окончания доказательства. 
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$ 1.1. Экстремумы целочисленных уровней р > 2 
для функций от независимой скалярной переменной 


Пусть исходно в явном виде задана некая числовая вещественная 
скалярная функция у = У(х). Причём, пока иное не оговорено особо, 
х есть независимая скалярная вещественная переменная, или аргумент. 
Для заданной функции У(Х) её аргумент может принимать множество 
допустимых значений на вещественной числовой оси (-00, +00) = (@, на 
котором и определяется сама функция. Если это множество на оси (@ 
непрерывно-связное, то оно называется областью определения (Д < @ 
данной функции. Например, для степенной функции у = х? это есть сама 
числовая ось (—00, +00), или множество всех действительных чисел; для 
корневой функции у = \/х это есть числовая полуось [0, +00); но для 
функции у = агсз х это есть отрезок [-1, +1], а для корневой функции 


у = —х? это есть изолированная точка ( и так далее. В свою очередь, 
отображение У((12) есть полное множество значений данной функции у 
от аргумента х. Для некоторой функции полное множество еб значений 
может быть ограниченным, т.е. иметь верхнюю или/и нижнюю конечную 
грань. Подобные функции являются, как правило, основным предметом 
анализа в задачах оптимизации. Кроме того, в этом же аспекте особый 
интерес вызывают такие скалярные функции У(х), которые на области 
своего определения (4) < (@ не только ограниченные, но, вместе с тем, 
непрерывные и непрерывно дифференцируемые. Функции с подобными 
свойствами называются эволюционными. На области определения они 
и их первые производные не подвержены каким-либо скачкообразным 
изменениям при бесконечно малом изменении аргумента. Непрерывные 
функции на компакте (отрезке, или закрытом интервале) обязательно 
равномерно непрерывные (однако на открытом интервале переменной 
подобное утверждение не всегда верно). В свою очередь, равномерная 
непрерывность — весьма полезное свойство для разнообразных оценок 
при анализе поведения функции на выбираемой области аргумента. 
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Зачастую для наглядности или большей конкретности (например, 
при использовании численных методов) поведение функции изучают 
на некотором компактном подмножестве из области её определения. 
Это может быть некий закрытый интервал [а, 6] = © < (@. Важно то, 
что на компакте, согласно известной теореме Вейерштрасса [17, 23], 
непрерывная функция всегда имеет свою верхнюю и нижнюю грани. 

Пусть функция У(х) ограничена на (4) либо сверху, либо снизу, 
т. е. или У(Х) < М или У(х) > М, где М — конечное число. Тогда У(х) на 
некотором © < (@ в некоторой точке 5°е © в первом случае принимает 
максимальное значение у(5°) (максимум) и во втором случае принимает 
минимальное значение у(5°) (минимум). В их общем определении У($°) 
есть экстремальное значение функции на интервале ©7 (экстремум). 
Дальнейший интерес будет представлять только такой нетривиальный 
вариант экстремума, когда 5° не является крайней точкой интервала ©, 
а находится внутри его (т. е. именно внутренний экстремум). В данной 
монографии такие экстремумы и их поиск для изначально заданных 
эволюционных функций У(х) представляют главный интерес. Поэтому 
для них будет применяться как основной термин целевая функция — для 
того чтобы, по сути, отличать таковую от других скалярных функций. 
Процедура поиска экстремума есть оптимизация целевой функции. 

На переломном рубеже развития математической науки совершенно 
естественным образом возникла классическая задача об аналитическом 
методе определения и поиска экстремума скалярной функции. Такого 
рода задачу впервые чётко поставил и корректно разрешил Пьер Ферма 
для класса целостепенных скалярных функций (1629 г.) [58]. Позднее 
Готфрид Лейбниц дал аналитическое решение экстремальной задачи 
для дифференцируемых функций, включая трансцендентные функции 
(1684 г.) [61]. Так была основана аналитическая оптимизация. 

Из курса анализа известно (см., например, [23, т. 1, с. 223]: если 5° 
является точкой внутреннего экстремума непрерывной функции У(Х), 
определённой хотя бы на некоторой еб окрестности, то при этом 
1-я производная У'(5°) либо равна нулю, либо не существует. Это суть 
общие необходимые условия существования такого рода экстремума 
для непрерывной функции У(х). Однако именно первое из этих двух 
альтернативных необходимых условий в аспекте рассматриваемой 
задачи применяется к эволюционным целевым функциям, для которых 
возможны только неособые (т. е. плавные) экстремумы. В анализе эта 
закономерность известна как лемма Ферма о необходимом условии 
реализации внутреннего экстремума непрерывно дифференцируемой 
скалярной функции от одной вещественной скалярной переменной. 
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В более широком смысле то же самое условие для эволюционных 
функций у(х), но как уравнение Чу/Ах = 0, позволяет в результате его 
решения выявить точку $ (или подмножество точек) стационарности 
У(х) на области её определения ( < (@. В анализе это обосновывает 
теорема Ферма о необходимом и достаточном условии существования 
стационарности непрерывно дифференцируемой скалярной функции от 
вещественной скалярной переменной. Оно выражается аналитически 
любым из указанных ниже тождественных уравнений — либо через 1-й 
дифференциал, либо через 1-ю производную функции в точке $ е (@: 





ух =$)=0 < ву ($) = 0. (1) 
4х 


В этой точке целевая функция имеет стационарное значение У($). 
Стационарность эволюционной функции У(х) по форме её графика в 
окрестности точки $ может представлять собой либо искомый неособый 
экстремум (максимум или минимум), либо стационарный перегиб. 

Кроме того, эти же тождественные уравнения (1), как указывалось, 
согласно лемме Ферма, задают аналитически и необходимое условие 
существования в точке $ е © неособого экстремума для эволюционной 
целевой функции У(х). Причём строгий экстремум У($°) определяется 
тем, что в точке 5° эта целевая функция имеет экстремальное значение, 
а в любой достаточно малой окрестности точки $5* — не имеет. 

На рис. 1(1)—(4) приведены наглядно характерные абстрактные 
примеры непрерывных скалярных функций у(х) — как эволюционных, 
так и нет, с разнообразными экстремумами и перегибами на интервале 
© < @. В табл. 1 приведена классификация экстремумов и перегибов 
на основе наиболее ныне распространённой терминологии. Вариант (1) 
тут отвечает именно эволюционным функциям у(х), представляющим 
наибольший интерес в прикладном отношении. Отметим при этом, что 
для многоэкстремального (полимодального) варианта (2) в отличие 
от одноэкстремального (унимодального) варианта (1) для кривых У(х) 
любые используемые аналитические методы и базирующиеся на них 
численные методы нахождения экстремума эволюционной функции 
позволяют выявить и далее идентифицировать отдельным образом 
лишь какой-либо её локальный экстремум или последовательным 
образом — все таковые. Среди последних выбирают соответственно 
наибольший или наименьший (как глобальный экстремум). Очевидно, 
что максимум в варианте (2) на рис. 1(2) есть глобальный экстремум 
функции У(Х) на заданном интервале © < (@ аргумента х или даже, 
быть может, на всей области еб определения, что, однако, требует 
отдельного доказательства. 
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Рис. 1. Абстрактные варианты непрерывных функций от скалярного 
аргумента у(х) с разнообразными типами экстремумов и перегибов на 
числовом интервале © < (@: 
(1), (2) — функции с неособыми экстремумами (1, 2, 2”, 2”) и перегибами (1', 
1”, 2”); 
(3), и функции с особыми экстремумами (3,4,4 ', 4”', 4””', 4”) 
и перегибами (5). 


Кроме этого, на рис. | можно наглядно проследить различие между 
гладкими и негладкими кривыми (с одной стороны), эволюционными 
и неэволюционными функциями (с другой стороны). Само же понятие 
гладкость для вложенного многообразия, в том числе и для кривой, 
является абсолютным по отношению к выбору координатной системы, 
в данном случае на координатной плоскости (х, у). Обе верхние кривые 
на рис. 1(Т) и (2) суть гладкие, кривые на рис. 1(3) и (4) — негладкие. 
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Функция У(Х) на рис. 1(1) эволюционная; но функция, например, на 
рис. 1(2) неэволюционная, так как здесь в точке 2’”’ производная Чу/Ах 
по величине бесконечная (т. е. в ней непрерывная дифференцируемость 
теряется). Понятие же эволюционность для целевой функции всегда 
определяется именно в заданной системе координат. (Все эти понятия 
имеют тот или иной порядок, начиная с 1-го, как и производные.) 


Таблица 1. Классификация экстремумов и перегибов для скалярных 
функций от одного скалярного аргумента, приведённых на рис. 1 


Тип 
экстремума 








Максимум 
Минимум 





Глобальный 
Локальный 





Строгий 
Нестрогий 





Неособый 

Особые: 
неострый 
острые — 
вертикальный 
горизонтальный 
наклонный 





Внутренний 
Внешний 





Тип перегиба 





Неособые: 
стационарный 
наклонный 
крутой 





Особый 
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Далее пусть целевая функция Уу(х) — непрерывная на заданном 
интервале [а, 6] = © < (@ и при этом она на нём, по крайней мере, 
дважды непрерывно дифференцируемая. При таких ещё более сильных 
тут допущениях необходимые и достаточные условия существования 
в некоей внутренней точке этого интервала 5*°> © неособого строгого 
экстремума целевой функции У(Х) 2-го уровня формулируются в виде 
классических правил Лейбница отдельно для случаев её максимума и 
минимума того же целочисленного 2-го уровня: 


у 
4 (5+)=0, ЧУ) со; ©) 
4х ах2 
9-0  Ф6)>0 3 
4х | 4х2 | (3) 


Точки экстремума $° обозначаются как 5’ для максимума и как 
$ для минимума, чтобы их можно было достаточно легко различать. 
Точки же перегибов обозначаются как $5* для г-образного и как $* для 
5-образного стационарного перегиба. Понятие уровень экстремума или 
стационарного перегиба (т. е. стационарности вообще) в общем случае 
определяет тот же порядок касательной или соприкасающейся в точке $ 
собственной параболы от аргумента х. Последняя здесь и в дальнейшем 
определяется как аппроксимирующая парабола для У(х), что затем будет 
отдельно пояснено. (В рассматриваемых пока случаях её порядок и 
уровень самой стационарности целочисленный, т.е. 2.) Для экстремумов 
целевой скалярной функции 2-го уровня аппроксимирующая парабола 
имеет тот же порядок 2. Графически она есть касательная в точке $ 
параболическая кривая 2-го порядка — либо у-образная при Ф?у/Ах? > 0, 
либо п-образная при Ф?у/Ах? < 0: 

2 
мб). к 5 +56) 
4х 

Графически подобные варианты экстремумов в абстрактной форме 
изображены на рис. 2(1) и (2). Максимум и минимум 2-го уровня, 
определяемые уравнениями (1) и (2), суть простейшие типы неособых 
экстремумов для целевой функции от одной скалярной переменной и 
при этом они же наиболее значимые в прикладном смысле. 

В свою очередь, для нестрогих экстремумов точка $ заменяется 
подмножеством (5), а в правых уравнениях в (2) и (3) знаки неравенств 
типа < и > заменяются на знаки неравенств типа < и >. 
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4у>0 |у<0 





0 
(1) | (2) 
(3) | (4) 

У 





х 














Рис. 2. Характерные варианты строгой стационарности непрерывно 
дифференцируемых функций У(х) с экстремумами и стационарными 
перегибами на числовом интервале © < @: 

(1) — максимум 2-го уровня, 

(2) — минимум 2-го уровня, 

(3) — 5-образный стационарный перегиб 3-го уровня, 

(4) — г-образный стационарный перегиб 3-го уровня. 


Следующие возможные здесь по логике варианты — более пологой 
стационарности функции У(х) и целочисленного уровня р = 3 задаются 
аналогичными уравнениям (1) дифференциальными уравнениями, но с 
повышением их порядка и степени вырожденности до двух: 

2. 
Чу(х = $) ух 8)=0 <> Чу ($)= ву ($)=0. 
Чх ах? 
Такие варианты для идентификации стационарности требуют уже, по 


крайней мере, трёхкратной непрерывной дифференцируемости У(Х). 
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Отсюда имеем очередные два варианта стационарности: 








2 3 
0 ЧУ(.+) < 0 (4) 
4х 4х2 4х3 
для случая 5-образного стационарного перегиба 3-го уровня — рис. 2(3); 
2 Э 
ЧУ (2) = У 0, ЧУ(.+)>0 (5) 
4х ах? 4х3 


для случая г-образного стационарного перегиба 3-го уровня — рис. 2(4). 

Следующие затем два возможных варианта — ещё более пологой 
стационарности У(х) и целочисленного уровня р = 4 требуют, по 
крайней мере, четырёхкратной непрерывной дифференцируемости У(х) 
и задаются поэтому дифференциальными уравнениями со степенью 
вырожденности 3: 








2 Е 4 
(5) -Ч У) = 99 (;+)-0, ЧУ) <0 (6) 
2 3 4 
9х ах ах 4х 
для случая максимума 4-го уровня; 
й) 3 4 
У (У) = ЗУ“) =0, “У(:)>0 (7) 
г З 4 
4х 4х ах ах 


для случая минимума 4-го уровня. 

Данная цепь вырожденных дифференциальных уравнений может, 
в принципе, продолжаться и далее опять-таки каждый раз до первой 
ненулевой производной — либо чётного, либо нечётного порядка р 
с использованием аналогичных принятых подходов к идентификации 
стационарности целочисленного уровня р. Соответственно повышается 
вышеуказанный целочисленный уровень выявляемых экстремумов или 
стационарных перегибов. При всём этом здесь пока принимается, что 
производные в указанных правых неравенствах по величине конечные! 
Они суть значимые, т. е. ненулевые и ограниченные по величине. 

Изложенные правила ступенчатой идентификации стационарности 
конечного уровня р действуют для целевых функций у(х), по природе 
не менее чем р-кратно непрерывно дифференцируемых (хотя бы на 
некоторой окрестности искомой точки стационарности $). Эти хорошо 
известные правила выводятся достаточно строго через разложение 
таковых целевых функций по формуле Тейлора в виде степенного ряда 
с остаточным членом в форме Пеано. Но вначале с целью упрощения и 
для сравнения обратимся, хотя и к гораздо менее общему, но при этом 
более простому представлению аналитических целевых функций у(х) 
полным степенным рядом Тейлора. 
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В окрестности какой-либо конкретной внутренней точки заданного 
интервала с Е © имеем разложение аналитической скалярной функции 
у = У(х) по общей формуле Тейлора в виде полного степенного ряда, 
например, от дифференциала её аргумента 4х, а также в итоге по 
порядковым дифференциалам или по порядковым приращениям самой 
скалярной функции: 





у(с-+Ах) = у(с©)+ Лу(х=с) = о ов 
х 


2 3 3 4 4 
к. = 
2 3 а 4 

(8) 


а? у(х-с) @убх-с) 4 убх-е) 
А. 
3! 4! 


= (с) + 4у(х=с) + 





= у(с) 5А'ух=с) НА?у(х=с) | А?у(х-с)+А‘убкее)+... . 


Здесь используется тот факт, что для независимой переменной имеет 
место Ах = 4х, Фх = Фх = 4х =... = 0, так как полное приращение 
аргумента, по определению, есть дифференциал 4х. В частности, в (8) 
Чх отсчитывается от точки с. Все же дифференциалы и приращения 
функции (полные и порядковые) отсчитываются от значения У(с). 








По Вейерштрассу У(х) есть аналитическая функция в точке с е ©, 
когда она, во-первых, имеет в ней производные любого порядка и, во- 
вторых, на некоторой её окрестности представима полным собственным 
сходящимся степенным рядом Тейлора порядка М [17, 23]: 


М 


ая 
У + Ук 91, ©) 
а=19" 4х9 





где, в частности, № — ©. Понятие аналитичность для функции У(х) 
далее естественным образом распространяется на заданный интервал ©7 
для аргумента х и вообще на всю область её определения. Очевидно, 
что для некоего функционального многочлена от х с целочисленными 
показателями его степеней число М равно максимальной степени х. 
Более общо У(Х) есть, по крайней мере, К раз дифференцируемая 
(непрерывно) функция в точке с Е (а, Ъ), когда она имеет в ней все свои 
производные порядка от 1 до К и при этом на некоторой её окрестности 
представима собственным степенным рядом Тейлора порядка К именно 
с остаточным членом ряда в форме Пеано порядка малости более К 
(определение К-кратно непрерывной дифференцируемости функции): 
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К 
об Е 


а=1 9' ах 


. О -С 
где ви «9 
#0 К_ск 


——(©.к-оЧ+о,(к-9), (10) 
= 0. 


(В частности, при К = 1 это есть известное определение непрерывной 
дифференцируемости, или непрерывности производной функции У(х) 
по Фреше.) Свойство непрерывной дифференцируемости порядка К для 
функции У(х) естественным образом распространяется и на заданный 
интервал для аргумента Хх и вообще на всю область её определения. 

Если же функция У(х) имеет ещё и производную порядка К + 1 
в некоторой окрестности точки с, то остаточный член в (10) можно 
выразить более конкретно, например, в форме Лагранжа: 





ок(х-©= К 9. КОК, х<Е) < (1) 


а. я 


(Для аналитической функции У(х) это всегда имеет место, так как она, 
по определению, бесконечное число раз дифференцируемая.) 

Возвратимся теперь к вопросу обоснования ранее уже изложенной 
ступенчатой идентификации стационарности У(х). Пусть функция 
У(х) не менее чем р-кратно непрерывно дифференцируемая, хотя бы в 
некоторой окрестности точки стационарности $. Причём в этой точке 
все её производные вплоть до порядка 4 =р- 1 нулевые, а производная 
порядка р ненулевая и конечная по величине (т. е. значимая). Отсюда 
в окрестности точки $, согласно (10), имеем представление У(х) как 


р 
та 


у ($ + 4х) = у($)+ —. У (4Р +0 (@к)=а0+ а. (4х)Р +ор(ах). (12) 
р! ,Р 
4х 





Выделим соприкасающуюся с кривой У(х) в точке стационарности $ 
параболу порядка р: 








1 аРу 
\(х) = м (5+ ах) =у (5) + —.—^ (3) 4хР =ау +а. (ах)Р. (13) 
р! ЧхР 


В достаточно малой окрестности точки $ эта парабола, вместе с тем, 
является и аппроксимирующей для у(х) = у($ + 4Х), так как разность 
между ней и целевой функцией у($ + 4х) - у($) = о (ах) есть функция 
порядка малости более р относительно 4х -+ 0. 
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Поведение графиков функций у($ + ах) и \\($ + 4Х) в достаточно 
малой окрестности $ исходя из локальной формы обеих кривых — одно 
и то же. Следовательно, о локальной форме графика У(х) = у($ + 4х) 
в окрестности точки её стационарности $ можно судить по локальной 
форме в ней же аппроксимирующей параболы (13). Она может быть 
либо П-образной (для максимума) или \-образной (для минимума), 
либо г-образной или 5-образной (для обоих перегибов). Таким образом, 
правила ступенчатой идентификации стационарности доказаны. 

Например, в простейших случаях нижеуказанный функциональный 
степенной многочлен (с целочисленными показателями степеней) 


у(х) =ау+а. (х-5)Р + У а; -(х— 5)! (14) 
(1>р) 


прир= 21 иа < 0 (а > 0) в точке $ имеет максимум (минимум) уровня р; 
но прир = 21+ | иа< 0 (а > 0) в точке $ имеет стационарный перегиб 
уровня р — либо 5-образный, либо г-образный. 

Очевидно, что любая функция У(х), представимая конечным рядом 
Тейлора, есть степенной многочлен от аргумента х с целочисленными 
показателями степеней и обратно. 

Из вышеизложенного хорошо видно, что для р раз непрерывно 
дифференцируемой целевой функции У(Х), у которой в точке еб 
стационарности производные порядка от |1 до р-1 все нулевые, 
а производная порядка р ненулевая и причём конечная по величине, 
экстремумы и перегибы имеют всегда целочисленный уровень р — 
чётный для экстремумов и нечётный для стационарных перегибов. 
При этом тот же самый степенной параметр р имеют отвечающие им 
аппроксимирующие параболы. Но для эволюционных функций вообще 
возможны неособые экстремумы целочисленного нечётного уровня и 
стационарные перегибы целочисленного чётного уровня, а также — 
неособые экстремумы и стационарные перегибы нецелочисленного 
уровня (см. далее). Им соответствуют аппроксимирующие параболы 
тех же самых аномальных порядков. Вызвано всё это тем, что для 
эволюционных функций (по их определению) важны существование и 
непрерывность только 1-й производной! 

Так, степенная функция вида 


у(х) =а. "| (15) 


при значении а > 0 имеет неособый строгий минимум уровня р = 21+ 1 
в точке $ = 0 ив ней же все нулевые производные вплоть до порядка 24 
и высшую производную порядка 24 + 1 с разрывом «-=а . (24+ 1)!». 
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С другой стороны, степенная функция вида 
ук) =а: [к |-х (16) 


при значении а > 0 имеет неособый г-образный стационарный перегиб 
уровня р =2+ в точке стационарности $ = 0 ив ней же все нулевые 
производные вплоть до порядка 2(-— 1и высшую производную порядка 21 
с разрывом «-а : (2%)!». 

Очевидно, что в рассмотренных выше двух простейших примерах 
аппроксимирующие в точке $ параболы просто тождественны заданным 
степенным функциям. В частности, при {= 1 в первом примере имеем 
кубическую параболу с минимумом в $, а во втором примере имеем 
квадратичную параболу с г-образным стационарным перегибом в $. 


хжжх 


Далее приведём примеры одномерной аналитической оптимизации. 
(Много интересных примеров имеется в сборнике задач [1].) 


Пример 1. Найти в интервале (0, +п/2) максимум функции 


у=а-зтф-+Ь-созф  (а>0,6>0). 





Имеем: у'(ф) =а-созф -Ъ.зтф=0-> ф” = агс® а/Ъ 
(поскольку Б > 0, то с0$ ф* = 0), 


у"(ф") =-(а-зтф” +6 -созф”)= -у(ф”)= 





а 56 
(а-2ф 5ф 


То есть в точке ф* здесь имеем максимум У(ф) со значением Уа2 +52. 
В частности, приа=Ъ = 1 имеем: ° = /4, у (Ф")=\2. 


Пример 2. Найти для Х > 0 минимум функции 


у(х) = (хП+х П)/2. 


Имеем: у'(х)=п. 0 —х-(+) /2 =0-х* = +1, 


у"(х°) =п|®-9.х 0-2 +0+0-х #2 |2 = 12 >0. 


То есть минимум достигается в точке Х* = | со значением у(х*) = 1. 
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Пример 3. Найти в интервале (0, 21) точку экстремума функции 














х. 
зшх 
У(х) = | ах. 
х 
0 . ® ® . ® 
Имеем: у'(х) = О =л, у"(х°) = —— =-1/л<0. 
Хх ° 


В точке х* = д имеем максимум функции У(Х) со значением: 


зшх 





п 
У(х°) = | ах. 

0 
Здесь это рационально объясняется тем, что в данной точке У’(х) под 
знаком интеграла попросту меняет знак. Отсюда в ней экстремум У(Х). 


Пример 4. Найти и идентифицировать экстремум функции 


а +а) +... наи +х 
у(х) = п+Т а -а) .....ап- Хх, 


п+1 





гдеа,а,...а,х> 0. 


п: + | 
Преобразуем функцию к виду: У(х) = ое Е. уп .х, 
п+ 


где © и у — средние арифметическое и геометрическое чисел а, > 0. 
Имеем: 


—п/п-+1 
у'(х) =1/(п+): 1-х) губ |=0— х*=у. 
При @ > 7 имеем у()) > 0, при © = / имеем у(у) = 0; у’(х = У) > 0. 
То есть при х = в 1-м квадранте имеется глобальный минимум У(Х). 


Пример 5. Найти и идентифицировать экстремум функции 


а] +а2 +...+ап+х 
у) == 2 п /п-+а, -а) ....-ап-Х, 


п+1 





Е 0. 


п-а+х [ 
Преобразуем функцию к виду: У(х) = Е. у? -х. Имеем: 
п 





+1 
убо-иН о. [х печи хина. 
п+ 


При а, > у имеем у(@1) > 1, при © = у имеем У(0,) = 1; у"(х = 9) > 0. 
То есть при х = © в 1-м квадранте имеется глобальный минимум У(Х). 
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Полезность последних двух примеров состоит в том, что в каждом из 
них методом математической индукции Далее доказывается известное 
алгебраическое неравенство Коши: @ > у, где равенство имеет место 
тогда и только тогда, когда а, — а, и == а, . 


Пример 6. Проанализировать на возможность наличия экстремумов 
или перегибов кривую 3-го порядка вида 


3 2 
Ук) =х` -К1-х” +Ко-х-Кз, где КК, К, > 0, хе (@. 


Имеем: у'(х) = 3х2 —2К1-х+К> =0 -> Х1,2 [че 6 


Соответственно имеем три варианта исходя из значения 
дискриминанта первой производной: 


ПА=К2 —ЗКо =0— Ко =К12 /3, 
Х] = Хо =$=К, /3, У(3) = (К1 /3)3 —Кз, у(3)=у"($) =0, у"($) =6>0, 
что отвечает точке г-образного стационарного перегиба. 

Данная кривая с аргументом х на вещественной числовой оси @ 


представляет собой г-образную кубическую параболу, смещённую от 
центра координат вправо на $ и вверх на у($). 


2) А=К1? -ЗКо < 0 -> К>К1? /3, 
хи, = (к +1./-^)/3; У,2)=0, у") == Ул. 


Данная кривая на вещественной числовой оси (24 не имеет точки 
стационарности, но имеет точку наклонного перегиба при х = К /3. 


ЗА=К? -ЗКо >0— Ко < Кр? /З, х, = («+\/^)/3=3,; 
ху,2= (К +\/^) /3 =; У'($1,2) = 0, у" ($1) =2/ > 0, у"(>) =-2/А< 0. 


Данная кривая с аргументом х на вещественной числовой оси @ 


имеет здесь максимум 2-го уровня в точке $1 = | +12 -3ко /з 


с аппроксимирующей параболой 2-го порядка \(х)=уУ(в1 +: (х-1)? 


и имеет здесь минимум 2-го уровня в точке $2 -(ч —\ 2 ко /з 


саппроксимирующей параболой 2-го порядка \(х)=у($›)- МА: (х- $2 №; 


где 55 < 5 
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На данном примере (вариант 2) весьма наглядно интерпретируется 
тот факт, что при решении задач на экстремум скалярной функции У(Х) 
в их обычном понимании обнуление 1-й производной по лемме Ферма 
допускается только при вещественных значениях её аргумента. Хотя 
впоследствии в гл. 3 будут рассматриваться и задачи оптимизации 
на комплексных областях сопряжённых аргументов, где требование 
к вещественности аргумента в общем случае не будет выполняться. 

Кроме того, вышерассмотренные примеры, как видно, имеют чисто 
математическое содержание, т. е. заданы как бы абстрактно. Подобные 
задачи, например, могут возникать при теоретическом анализе каких-то 
математических проблем. Развёрнутые примеры этого рода будут даны 
в гл. 4. К реальной действительности, разумеется, более близки задачи, 
возникающие из практики и сформулированные в конкретных областях 
науки: в физике, химии, экономике и т. д. Их аналитическое разрешение 
иногда приводило к открытию новых закономерностей в природе. 


Пример 7. В заключение приведём исторически первый классический 
пример успешного аналитического разрешения задачи на экстремум, 
осуществлённого первопроходцем в данной области математики 
Пьером Ферма. Изложим доказательство в той строгой аналитической 
форме, которую ей придал Лейбниц в своей знаменитой статье [61]. 
Здесь он впервые успешно справлялся с дифференцированием функций 
с радикалами (подкоренными выражениями). Этот пример, к тому же, 
убедительно показывает, как аналитическая постановка и разрешение 
подобных экстремальных задач в итоге способствует выдвижению 
и обоснованию важнейших физических принципов природы. 

Как известно, в 1621 г. Снеллиус экспериментальным путём открыл 
закон преломления света на границе раздела двух прозрачных сред 
(изначально воздуха и некоего прозрачного диэлектрика): 


эт о / т 92 =п = с015 (п > 1), 


где @ — угол падения луча света в воздушной среде, а, — угол 
преломления света в другой оптически прозрачной среде. Однако 
теоретического обоснования данный закон природы до этой физико- 
математической работы Ферма не имел. С целью же аналитического 
обоснования этого закона Ферма выдвинул физический экстремальный 
принцип, что луч света в оптически прозрачной, но неоднородной среде 
при своём распространении из точки 1 в точку 2 (рис. 3) выбирает 
такую траекторию, чтобы затраченное время его движения было всегда 
минимальным. При этом Ферма интуитивно предположил, что скорость 
света при переходе его из воздуха в иную оптически прозрачную среду 
уменьшается, т. е. у < с. 
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(1 





(2) 











Рис. 3. К аналитическому обоснованию закона преломления света на 


границе оптически прозрачных сред Снеллиуса (Ферма, Лейбниц): 
(1) —ШЩ исходная точка, и —_ угол падения луча света; 
(2) — конечная точка, ©, — угол преломления луча света. 


Обратимся к рис. 3. Из него здесь непосредственно видно, что время 
движения света из точки | в точку 2 составляет: 





{(х) = 





уе -®й +42, кк? +ар 
с У 


Применим далее теорему Ферма при поиске минимума функции (х) 
на интервале (х,, Хх, ): 








4 _ Хх -х х-х, -0 
4х | 
с. («.-х)? +42 у. (х-х,)? +4.7 
$ <, $ а, шо с _ 
и. = пин. ео =И>Ь 
с у ша У 


Таким образом, коэффициент преломления в законе Снеллиуса и сам 
закон получили полное обстоятельное аналитическое и физическое 
объяснение. Что особенно важно, в теоретической физике со временем 
укоренился один из первых фундаментальных законов природы — 
экстремальный принцип Ферма. 
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8 1.2. Экстремумы нецелочисленных уровней р > 1 


Рассмотрим функциональный степенной многочлен вида: 


у(х) = ао +а:|х-$Р + р а;.х-51! = 
(1>р) 


= у(з+ 4х) = а, а |4х|Р +ор(@х), (17) 


гдер > 1 — нецелочисленный показатель степени. 

Пусть [р] — его целая часть. Тогда У(х) есть [р] раз непрерывно 
дифференцируемая на множестве (@ функция от аргумента х. В точке $ 
функция обязательно имеет стационарность, так как Чу/Ах($) = 0. Более 
того, в этой точке все производные вплоть до порядка [р] нулевые, но 
производная порядка [р-+1] бесконечная. Последняя же в точке $ равна 
либо «—с0» приа < 0, либо «+00» приа > 0. В (17) фигурирует остаточный 
член в форме Пеано, что и в ряде (10), порядка малости относительно 
Чх —> 0 более р: 


ор[к-$]= >, а: |9 = У а;- 4х 


(>р) (1>р) 


1 





2 


т орк - ва ор ый. 


х->5 |х-5Р 4х >0 |@хР 





Выделим касательную в точке $ параболу той же нецелочисленной 
степени р: 


\ [5+ 4х| = а, +а-|4хР, (18) 


гдер> 1. В достаточно малой окрестности точки $ эта парабола является 
аппроксимирующей для у(х). Следовательно, по её локальной форме 
в окрестности точки стационарности и в данном случае также можно 
судить о локальной форме в ней же кривой (17). Она может быть либо 
п-образной — для максимума у(х), либо и-образной — для минимума 
У(х). Формально в данном случае тоже выполняются общие правила 
ступенчатой идентификации стационарности. Но тут вслед за цепью 
из [р] нулевых производных сразу же идёт бесконечная производная 
порядка [р + 1], а именно «—00» для максимума и «+00» для минимума. 
В варианте степенного многочлена типа (17) теперь вполне очевидно, 
что в точке $ его экстремум имеет нецелочисленный уровень р. 
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В свою очередь, вещественный степенной многочлен типа (14) при 
нецелочисленном уровне р и, возможно, нецелочисленных 1 требует 
определённой корректности в значениях этих показателей степени. 

Во-первых, они должны быть рациональными числами, например, 
р = т/п, где т > п. Во-вторых, т и п в рациональных дробях должны 
быть взаимно простыми и п должен быть нечётным. При этих условиях 
у(х) обязательно будет вещественной скалярной степенной функцией, 
определенной на всей оси (@. Для такой степенной функции возможны 
и экстремумы, и стационарные перегибы обоих типов. Идентификация 
типа стационарности нецелочисленного уровня р > 1 для такого вида 
функционального многочлена осуществляется опять-таки по общим 
правилам и с той же вышеуказанной особенностью: за цепью из [р] 
нулевых производных сразу же идёт бесконечная производная порядка 
[р +1]. При этом для эволюционной целевой функции, естественно, 
снимается требование по непрерывной дифференцируемости порядка 
именно р, так как последнее — нецелое число. 


8 1.3. Маргинальные (1 <р < 2) и особые (р < 1) экстремумы 


Особые экстремумы, как известно [1], реализуются в таких точках — 
рис.1(4), в которых некая функция у = у(х), принимая экстремальное 
значение, терпит излом в форме ряда разнообразных пиков: острых или 
неострых, вертикальных или наклонных или даже горизонтальных, 
односторонних или двусторонних (относительно общей касательной) — 
рис. 1(4). Так, последние два варианта реализуются в точках возврата 
(заострения) 2-го и 1-го рода. Однако такие экзотические экстремумы 
представляют больше теоретический интерес, нежели практический. 
Они рассматриваются в рамках теории особых точек плоских кривых. 

Вообще втеории экстремумов целевых скалярных функций от одной 
вещественной переменной используется наглядная аналогия графика 
целевой функции У(х) в декартовых координатах с профилем горной 
географической местности с разнообразными вершинами и впадинами. 
Указанные объекты природы суть либо округлые (т. е. как неособые 
экстремумы), либо пикообразные (т. е. как особые экстремумы). 

Кривизна и радиус касательной окружности для кривой У(Х) в точке 
экстремума 2-го уровня 5° в декартовых координатах выражается весьма 
простой формулой: 


42 
К(5°)=1/В5°) == У (5°). (19) 
4х2 
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Знак кривизны определяется знаком 2-й производной (или характером 
экстремума 2-го уровня). Для экстремумов более высокого уровня, т. е. 
прир > 2, имеем К = 0 (В = +00 или —00). Для неособых экстремумов 
более низкого уровня (1 <р < 2) имеем К. = +00 или —с0 (К = 0). 

Определим неособые экстремумы уровня в интервале 1 <р < 2 как 
маргинальные, поскольку они занимают крайнее нижнее положение 
в их иерархии (по значениям уровня р) и соответственно примыкают 
к множеству особых экстремумов. 

Пусть У(х) есть однократно непрерывно дифференцируемая в точке 
3 Е © целевая функция, но при этом в ней её 1-я производная нулевая, 
а 2-я производная равна или «—00» или «+00». Соответственно для этой 
функции снимается требование по непрерывной дифференцируемости. 
Тогда, согласно правилам Лейбница (1,2), имеем в первом случае 
маргинальный максимум, во втором случае маргинальный минимум 
в точке стационарности $. Например, степенные параболы общего вида 


у(х) = ах, где пи щ взаимно простые числа, удовлетворяющие 
неравенству п < т < 21 (т. е. иначе при 1 <р < 2), суть простейшие 
алгебраические кривые, иллюстрирующие маргинальные экстремумы 
указанного уровня р. Ввиду того, что эти кривые разделяют множества 
обычных гладких (р>2) и негладких (р < 1) парабол, то они называются 
тут и далее аналогичным образом как маргинальные параболы (дробно- 
рациональной степени | <р < 2). Эти параболы не теряют гладкость 
1-го порядка, но в точке экстремума просто имеют более крутой изгиб. 
Разумеется, более общее понятие — маргинальная стационарность. 


жж 


Несколько простейших примеров функций У(х) с маргинальными и 
особыми экстремумами проиллюстрированы конкретными примерами, 
графически отображёнными на рис. 4. 


Пример 1. Прямая парабола Нейля. Она же — гладкая полукубическая 
парабола (а = + 1, п=2, т= 3) — рис. 4(1): 


У=\/хР , Ух) =+3/2- Ху") = +314, 


где для у’(х) выбирают знак «+» при х > 0 и знак «—» прих < 0. 














Указанная функция в точке $ = 0 имеет маргинальный минимум 
уровня р = 3/2, так как У"(0) = 0, у"(0) = +00. 
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Все маргинальные параболы у =\ || с минимумом в точке $ = 0 
расположены между параболой у = х? и линиейу = [х| — рис. 4(1). Они 
имеют 3 общие точки: {—1,-1}, {0,0} и {+1, +1}. Граничная линияу = К| 
имеет в $ = 0 особый минимум уровня р = 1. Маргинальные экстремумы 
(1 <р<2) в сравнении с обычными (р > 2) имеют большее искривление 
графика У(х) именно в окрестности точки стационарности. В самой 
точке $ кривизна кривой по величине бесконечная. При р = ш/п -> 1 


маргинальная парабола неуклонно приближается к линии у = |Х|. 





у= Ухв 
































Рис. 4. Простейшие варианты маргинальных и особых экстремумов: 
(1) — гладкая прямая парабола Нейля с маргинальным минимумом, 
(2) — негладкая обратная парабола Нейля с особым минимумом, 
(3) — кривая колокол В. = 1 с маргинальным максимумом в точке $ = 0, 
(4) — кривая 5-го порядка с особым минимумом в точке х = 0. 
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Пример 2. Обратная парабола Нейля (а =+1, п=3, т=2) — рис. 4(2): 
наз х2, у')=2/3Х , у"(х) =—2/94 х. 


Функция имеет особый (неострый, вертикальный, двусторонний) 
минимум в точке возврата 1-го рода {0,0} — рис. 4(2). Отдельные ветви 
обеих парабол Нейля по форме в точности совпадают друг с другом — 
рис. 4(Т) и (2). В данном случае меняется только их расположение на 
координатной плоскости (Хх, у). 


Пример 3. Гладкая кривая колокол — рис. 4(3): 


В (+ 
У- 182 2 агосоз А +В — (к) ]- [28 -(55)-х2 
уд =-| абв -с)-х | у"(х) =-2.[В — (+х)|/\/2В -(+х)-х2 , 


где выбирают знак «+» при х > 0 и знак «-—» прих < 0. Функция У(х) 
задаётся на © = (-2В, +2К) и получается поэтапным интегрированием 
площадей двух кругов с учётом знака — рис. 4(3), положительного слева 
и отрицательного справа от оси у. Кривая У(х) при К = 1 имеет форму 
колокола. Функция имеет маргинальный максимум с уровнем р = 3/2 
в точке $* = 0, так как У"(0) = 0, у”(0) =—о0. Очевидно, что У(0) = +л. 
Уравнение аппроксимирующей маргинальной параболы здесь порядка 
р=3/2 имеет вид: \(х) = лВ2 —4/3-\|2В. {к . Это есть касательная 


в точке максимума {0, пК?} обращённая вниз прямая парабола Нейля. 
Кроме того, в точках экстремумов полуокружностей 1/2-у'(х), т. е. при 
х = В, кривая колокол имеет наклонные перегибы. 


Пример 4. Алгебраическая кривая 5-го порядка, заданная неявно ввиде: 
у = (у?-х)?. Она имеет особый (острый, вертикальный, односторонний) 
минимум в точке возврата 2-го рода {0, 0} — рис. 4(4). 

Разумеется, стационарные перегибы для эволюционной функции У(Х), 
в принципе, также могут иметь уровни в интервале | <р < 2, т. е. быть 
маргинальными. Например, если в уравнении для кривой колокол, 
рис. 4(3), перед интегралом применять знак «+», т. е. попросту считать 
площади обоих интегрируемых кругов положительными, то приходим 
к уравнению этой кривой с маргинальным г-образным перегибом уровня 
р =3/2 в точке $ =0 и с аппроксимирующей маргинальной параболой 


У\/(х) = лВ2 +4/3.х.. 12В. || .В ней у"(х) терпит разрыв —<0 - +00. 
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Кроме данных примеров маргинального и особого экстремального 
поведения скалярных функций, покажем существование аналитических 
функций У(х), хотя и не постоянных на области определения, но при 
этом с нулевыми значениями всех производных в точке экстремума! 
Впервые их рассмотрел Коши на приводимом ниже примере. 


Пример 5. Пусть дана трансцендентная функция вида 
у(х) = ехр (-1/<°), х=0; 


У) =0, х=0. 


В любой точке оси абсцисс она непрерывная, имеет также непрерывные 
производные любого наперёд заданного порядка : 


У = 2.) - У, 


где 7, (Их) — многочлен от аргумента 1/х степени 31. Общая формула 
при конечном параметре { доказывается по индукции. В частности, 


У'(®) = [+2] у), у’ = [- 6/х* +4/ж] . у(х. 


В точке х=0 функция и все её производные нулевые, в силу известного 


: и 
предела шт и" /е" = 0. Отсюда прих -> 0 и конечном { имеем: 
и—>0 








А А ры 


Эта функция Коши отображается графически чашеобразной кривой, 
симметричной относительно оси ординат у, поскольку Уу(х) = у(-х). 
Слева и справа она стремится асимптотически к прямой х = | (снизу). 
Здесь совершенно очевидно, что функция имеет минимум У(0) = 0, 
т. е. в начале координат. Но формально он не обосновывается общими 
ступенчатыми правилами. Однако применим рациональный критерий, 
основанный на изучении знаков 1-й производной У'(х) слева и справа 
от точки стационарности. Имеем: у'(+0,) > 0 иу’(-9) < 0. При значениях 


аргумента х!2= -\/2 / 3 кривая у(х) имеет наклонные перегибы. 


Разумеется, можно сконструировать и другие примеры аналогичных 
скалярных функций с бесконечно большим уровнем стационарности, 
в том числе с различными характерами поведения в окрестности точки 
стационарности. При этом формально они остаются в том же самом 
классе эволюционных функций. 
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Пусть аргумент целевой функции У(х) может принимать только 
дискретные значения, относящиеся к некоторому полному дискретному 
множеству (х) < ( с (@. Тогда отображение У<х) есть производное 
полное дискретное множество значений данной целевой функции у 
от аргумента х. Однако отображение У((12), по-прежнему, есть полное 
множество значений этой же целевой функции от как бы непрерывного 
аргумента х. Очевидно, что в последнем варианте для определения и 
вычисления точек стационарности, в том числе экстремумов, функции 
У(х) можно вполне использовать аналитические приёмы, изложенные 
выше. Точки экстремумов функции У(Х) при непрерывном х могут тогда 
и не принадлежать дискретному множеству корректных значений («Х). 

Например, пусть 5° # (х) — точка максимума выпуклой функции у(Х) 
на области () при непрерывном аргументе х; х, их, — ближайшие к 5* 
на числовой оси (@ снизу и сверху значения дискретного аргумента х, 
принадлежащие области (Д. Тогда, очевидно, что тах (У(х)), У(х.)) есть 
максимум на (4 < (@ функции У(х) именно при дискретном аргументе. 
Заметим, что в данном варианте для функции У(х) от непрерывного х 
можно принять (разумеется, с возможной соответствующей проверкой) 
и более слабое требование, а именно: чтобы она монотонно убывала 
слева и справа от точки 5°. 

Задаваемые дискретные множества аргумента (х) могут быть весьма 
разнообразными. Например, это может быть полуоткрытое множество 
целых положительных чисел (т), где т = 1,2, ..., +00. 


Пример. Найти целое основание для наиболее экономичной системы 
счисления. (Здесь под экономичностью системы счисления понимается 
её способность к записи максимального количества чисел при заданном 
количестве исходных цифр в пределах имеющегося основания.) 

С целью упрощения допустим, что количество исходных цифр п 
прямо пропорционально количеству К разрядов, а последние — полные. 
Тогда п = К: ш, где т — целочисленное положительное основание 
некоей системы счисления. С учётом этого, количество записываемых 


т цифрами целых чисел есть степенное выражение у(п1) = па* = па". 
Подобная функция У(п1) в случае непрерывности положительного 
аргумента принимает строгий максимум при нецелом т =е = 2,718, 
где е есть основание для натуральных логарифмов (число Эйлера). 
Действительно, 
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п п п 
-1 п — д 
шШ ———_шШ.шш=р.шм -(1-шт)=0 > 
т 


Чу п. 
т ш 





> шш=|1 -У ш=е. 


Причём слева и справа от т = е функция У(п1) монотонно убывает, 
что отвечает её прохождению через максимум. Ближайшие слева и 
справа к этой точке дискретные значения аргумента: т =2 иш = 3. 
Соответственно, У(2) = 212, у(3) = 318, у(е) = е"*. Здесь имеет место 
неравенство: 2"? <313 < е®. Следовательно, наиболее экономичная 
система счисления имеет своим основанием число 11 = 3. (Практически 
этот результат означает, что весьма актуальным остаётся реализация 
троичной системы счисления в средствах вычислительной техники.) 
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от зависимой скалярной переменной типа Хх: Х = х(и) 


При вычислении дифференциалов и приращений целевой функции 
у = У(х) порядка более 1 природа переменной х — независимая или 
зависимая имеет существенное значение. В данном параграфе она 
рассматривается как зависимая переменная и далее обозначается со 


знаком тильды сверху буквы, т. е. как Х = х(), где и — независимая 
переменная, или аргумент. Причём по аналогии: Х © [&, 6] = < ®; 
цЕ [а, 6] = 9 с (@. В данном случае имеет место простейший, т. е. 
двухступенчатый вариант сложной функции: у = У(х) = У[х(и)] = Жи). 
Для аналитической на отрезке я функции Х = х(и) аналогично (8) 
имеем приращение зависимой переменной: 





42% а 4% 
+ + 
4 


ДХ = ах + 


А+ 2х + АЗх+А4х +... (20) 


Общее и порядковые приращения и дифференциалы переменной Х 
отсчитываются от какой-либо конкретной точки на числовой оси (@, 
например, от 6. Для однозначной У(Х) на 7 однозначность сложной 
функции Киа) = у[х(и)] на эквивалентном отрезке ©7 обеспечивается, 
например, для аналитического отображения х(и). В таком случае она, 
как преобразование, осуществляет только деформацию растяжения- 
сжатия кривой У(Х) вдоль оси (@. 


$ 1.5. Экстремумы 1-й и 2-й ступени функции от переменной %: х= х(и) 41 


Абстрактные характерные примеры разнообразных по природе 


однозначных (прямых) функциональных отображений типа Х = х(и) 
приведены на рис. 5. 





















































Рис. 5. Некоторые характерные варианты для скалярных гладких и 
негладких, регулярных и нерегулярных функциональных отображений 
типа х(и) <> и(х) на эквивалентных числовых отрезках © и 9: 
(1) — х(и) ии(х), как взаимно гладкие и регулярные отображения; 
(2) — х(а) со стационарным перегибом в точке $, как негладкое и регулярное 
прямое отображение (с нарушением гладкости в точке 5), и ч(Х) с крутым 
перегибом в точке $, как гладкое и нерегулярное обратное отображение 
(с нарушением непрерывной дифференцируемости в точке 5); 
(3) — х(и) с крутым перегибом в точке $, как гладкое и нерегулярное прямое 
отображение (с нарушением непрерывной дифференцируемости в точке $), 
и и(хХ) со стационарным перегибом в точке $, как негладкое и регулярное 
обратное отображение (с нарушением гладкости в точке $); 
(4) — х(и) с экстремумом в точке $, как негладкое и регулярное прямое 
отображение (с нарушением гладкости в точке $), и ч(х) с овальностью 
в точке $, как гладкое и нерегулярное обратное отображение (с нарушением 
непрерывной дифференцируемости в точке $). 
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Отметим, что двухступенчатую сложную аналитическую функцию 
у = У(х) = У[х(а)] = Ки), не нарушая общности, можно представить 
собственным рядом Тейлора в двух вариантах переменной: 


у=у(с-+Ах) = у(с) + Ду(х =5) = УХО +@- + 


4 2й 
Ре Уо- м 


а 4! 





а?у _ 4? у 453 
©) у. 
ах 3! 


= (с + ди) = (с) + Ду(а == Ко ода 
а 


а р 
+ 
Ча 


В ай 4 
не. 
а 9 д“ 4 (21) 





2 3 
ое . 9 у 
2 2! 


В силу эквивалентности точек б и с, здесь у() = Кс). С учётом 
разложения (20), группируя слагаемые одного и того же порядка, 
последовательно получаем систему (22) из дифференциалов функции: 











дис) = Му(и = ©) = (оду -9 = У, 
да ах 


42 
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оная. 
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Дифференциалы и приращения целевой функции в такой форме записи 
(т. е. с их отсчётом от значения функции в указываемой точке) являются 
многочлен-функциями от дифференциалов зависимой переменной Х. 
Причём нетрудно видеть, что 1-й дифференциал-приращение любой 
последовательно непрерывно дифференцируемой сложной функции 
(двухступенчатой и многоступенчатой) имеет инвариантную форму 
выражения относительно выбора переменной — см., например, [23]. 
Из системы (22) теперь последовательно находим производные целевой 
функции любого порядка р, согласно новой системе (23): 





[6 Чу _ & 
У (с) = = ®- — (©), 
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20=3® [©] + @ 20. 

3 3 с 3 2 2: с 3 

о. 59а) он, 
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Причём эти формулы для итоговых производных используются далее 
при нахождении и идентификациях стационарностей сложной целевой 
функции у = у(Х) = у[х(и)] любого имеющегося уровня р посредством 
вышеуказанных правил (1)-(7). 

Пусть у = У[х(и)] = Киа) имеет стационарность в точке $. Согласно 
правилу Ферма (см. $ 1.1) и первым соотношениям из систем (22), (23), 
имеем определяющие стационарность целевой функции аналитические 
формулировки, выражаемые нижеуказанными дифференциальными 
уравнениями: 


Чу(и =) = У = 9-1 ео - = в - 0 <> 4) 





9. _9- _ ах Е 
а" (5) 
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В самом общем случае идентификация возможного экстремума 2-го 
уровня для целевой двухступенчатой сложной функции выполняется 
через анализ либо её 2-го дифференциала, либо еб 2-й производной 
в точке стационарности $, взятых из второго соотношения системы (22) 
или системы (23): 





2 у ды в у о а 

4^у(а = $) = — ($)4а“ = 47Уу(Х =5) = (5)ах“ +— ($)47х <> (26) 
ди? 4? 4х 

у Чу [4 ау. 425 

> (8) = и (5) | т О + ($) 2 (5). (27) 


42 
<> 
Чиа 


Причём тут возможно использование предельных соотношений по 
правилам анализа неопределённостей Лопиталя. Однако, когда все 
эти дифференциальные характеристики существуют, тогда могут иметь 
место два непредельных варианта стационарности целевой функции, а, 
следовательно, и её экстремума. 





1) Либо 4у/4х($) = 0, при этом 4/4а существует. Тогда отображение 
х(и) регулярное, причём, по крайней мере, в окрестности точки $. Это 
соответствует стационарности целевой функции в $ 1-й ступени. 
2) Либо 4у/4%($) = 0 и существует (т. е. значимая), но 4х/Чи($) = 0. 
Тогда отображение Х = х(и) в самой точке $ негладкое, но регулярное. 
Это соответствует стационарности целевой функции в $ 2-й ступени. 
Такая стационарность в данном случае реализуется в особых точках 
негладкой кривой Хх = х(и), как, например, на рис. 5(2), (3), (4). В этих 
точках при изменении параметра отображения последнее не меняется. 
(Более наглядно и практично особые точки проявляются при изучении 
векторных отображений типа Х = х(щ) — см. об этом в $ 2.1.) 

Пусть в первом варианте стационарности 42%/Ч4и?($) здесь также 
существует (как и 1-я производная), т. е. отображение х(и) регулярное 
порядка не менее 2-х. Тогда, согласно (25), имеем: 


2 2 ыы 2 
“У -4 ув 
да 4 ди 





Если данная 2-я производная ненулевая, то тогда по её знаку 
идентифицируют характер экстремума 1-й ступени и 2-го уровня, 
используя правила Лейбница (2) и (3). Обе 2-ые производные в (26) 
имеют одинаковый знак и могут обнуляться только вместе. Характер 
возможного стационарного перегиба функции 3-го уровня в точке $ 
идентифицируют при необходимости в этом с привлечением третьего 
соотношения из системы (23) ит. д. 
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Пусть во втором варианте стационарности 4?у/АХ2($) здесь также 
существует (как и 1-я производная). Тогда, согласно (25), имеем: 
2 2: 
а Чу ах 
5) -=®-—0®. 
фи Хх а 





Если данная 2-я производная ненулевая, то тогда по её знаку 
идентифицируют характер экстремума 2-й ступени и 2-го уровня, 
используя правила Лейбница (2) и (3). В этом варианте 2-ые производные 
Фу/Ч ($) и 2х/4а?($) могут обнуляться лишь только вместе. Характер 
возможного стационарного перегиба функции 3-го уровня в точке $ 
также идентифицируют при необходимости в этом с привлечением 
третьего соотношения из (23) ит. д. 

Заметим, что для целевой сложной функции у = у(Х) = У[х(а)] может 
реализовываться внешний (краевой) условный экстремум тогда, когда 
отображение Х = х(и) налагает на зависимую переменную Х отвечающее 
этому случаю ограничение — см. табл. 1. 
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Предшествующая задача разрешалась аналитически естественным 
путём через вычисление и анализ дифференциалов или производных 
двухступенчатой сложной функции. Данную новую задачу, в которой 
зависимая переменная Х выражается только через обратную функцию, 
можно решать, в принципе, двумя способами. 

Либо сначала каким-то аналитическим образом выразить нужные 
производные целевой неявной функции Х = х(и) через производные 
явной функции и = и(Х) и подставить их в систему (23). 

Либо гораздо более естественным путём, излагаемым ниже, сразу 
же выразить все необходимые для идентификации стационарности 
целевой функции её производные. 

В силу принятого ранее (см. рис. 5) характера монотонности или 
хотя бы кусочной монотонности отображений Х = х(и) ии = и(Х) на 
эквивалентных интервалах ©7 и © < (@ целевую функцию У можно 
представить однозначно или двузначно в виде замкнутого цикла: 


у = УС® = У[х(а)] = Е (а) = [а] = У® = у. 

На основании указанного циклического отображения У поменяем 
местами в системах (22) и (23) обе переменные Х и 1. При этом 
справедливость всех соотношений в системах, разумеется, сохраняется. 
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Например, из модифицированной таким образом исходной системы 
(23) выражаем последовательно все итоговые производные целевой 
функции в виде новой системы (28): 
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По этим рекуррентным соотношениям для итоговых производных 
скалярной функции можно так же, как и в предыдущем параграфе, 
находить и идентифицировать её экстремум 1-й и 2-й ступени. Так, из 
второго соотношения системы (28) получаем тождественные формулам 
(26, 27) выражения для дифференциальных характеристик 2-го порядка 
в точке а целевой функции: 








4 2 
42 -3)=®У “Ура? - г 78 Ко ди? 1 Ри © (29) 
аи2 ди 
‚гу = т ов а той (30) 
и  @ о аи | 


Тождественность формул (27) и (30) обеспечивает, например, известная 
взаимосвязь вторых производных прямой и обратной функции: 


42% а? Е] 42  а2х ®] 
<> = 5 
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Дальнейший анализ вполне аналогичен приведённому в $ 1.5. 
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Метод группировки, применённый выше в $ 1.5 для формирования 
системы (22), позволяет в итоге сразу же находить все приращения, 
дифференциалы и производные любого нужного порядка для сложной 
скалярной функции у = у(Х) = у[х(а)] = Ки). (Аналогичный подход 
может применяться и в случае многоступенчатой сложной скалярной 
функции.) В двухступенчатом варианте общие формулы выводятся 
вполне логичным и естественным вышеописанным путём — сначала 
для приращений, а затем для дифференциалов и производных: 
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Причём в двухступенчатом варианте применяются индексы двух типов 
ТИ }, подчиняющиеся соотношениям: 


+] +...+ 1 =АЗр, 
ЧР Нресопя) (33) 
ИЛ. ]2 +... т ЕР. 


Поэтому степенные выражения формы (32) от дифференциалов Хх 
определяются тут как изопараметрические многочлены валентности 2. 
В этом определении валентность многочлена есть количество звеньев 
в сложной функции, а наиболее общо это есть количество независимых 
индексов в элементах. Причём в системе (33) р есть главный индекс, 
а 4 есть ограниченный им второстепенный индекс. 

При валентности 2 общее количество разнообразных комбинаций 
для произведений степеней в любом изопараметрическом многочлене 
(в частности, здесь это есть количество всевозможных комбинаций для 


произведений степеней дифференциалов 4'Х) при исходно задаваемом 
значении р есть некоторая арифметическая функция Жр). Количество 
тех же самых комбинаций при задаваемых значениях р и 4 есть некая 
арифметическая функция Ср, 9) < Жр). Обе эти дискретные функции 
при валентности 2 получаются из требований к индексам типа (33). 
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В числовом виде обе указанные арифметические функции приведены 


в таблице 2 до значения главного индекса (аргумента) р = 10. 


Таблица2. Арифметические функции (р)и (р, а) для двухвалентных 
изопараметрических многочленов 
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Если левую и правую части формулы (32) поделить на ЧР, то в итоге 
получается общая формула для производных двухступенчатой сложной 
функции у = у(Х) = У[х(а)] = Ки). Она также, согласно системе (23), 
имеет структуру двухвалентного изопараметрического многочлена от 
производных 95/49 (при постоянном параметре р). 

Обратим тут внимание на то, как в системе (22) и в формуле (32) для 
каждого дифференциала ЧРу(и=с) последовательно образуются суммы 
произведений. Во-первых, порядок 4 производной от у по Х пробегает 
значения от 1 до р. Во-вторых, сумма степеней ] дифференциалов Х 
(суммарная размерность) при производной 49у/АХ“ всегда равна 4 < р. 
В-третьих, сумма произведений порядков 1 дифференциалов Х на их 
степени ] равна главному параметру р. Это отвечает соотношениям 
индексов в (33). Таким образом, формируется своеобразный многочлен 
(в рассматриваемом случае от дифференциалов Х указанных порядков 1 
и степеней ]), содержащий в своей самой полной форме для заданного 
основного брутто-параметра р всегда строго обусловленные количества 
слагаемых-произведений Яр) и Ср, 9) — см. табл. 2. 

В данной монографии ещё не раз повстречаются двухвалентные 
изопараметрические многочлены с разнообразными элементами или 
аргументами в них, а также с различными числовыми коэффициентами 
при частных слагаемых. Например, в многочленах (32) от аргументов 
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ЧХ в степенях ] у отдельных слагаемых имеются полиномиальные 
коэффициенты типа: 


МРЯ = р | 


1,2 => Ла Е че ил |5 (6 12 |. о т | 


11,12, ..-› т 





Они отличаются от обычных полиномиальных коэффициентов тем, 
что содержат здесь не один («р»), а два («р» и «4») брутто-параметра 
и поэтому два ряда индексов 1 и ], подчиняющихся соотношениям (33). 

Для К-ступенчатой сложной функции в этих изопараметрических 
многочленах валентности К > 2 от аргументов 4% применяются 
полиномиальные коэффициенты с К брутто-параметрами и с К рядами 
индексов, подчиняющихся собственным иерархическим соотношениям, 
обобщающим (33). Для каждого из многочленов валентности К главный 
параметр р постоянен, т. е. р = соп$. Именно поэтому все они по своей 
природе суть изопараметрические многочлены. 

В рассмотренном случае числовые коэффициенты при конкретных 
слагаемых — положительные величины, имеющие полиномиальное 
происхождение. Они тождественны таковым, например, для полинома 


Х2 7. 


р! 
Абстрагируясь от конкретных числовых значений коэффициентов, 
приведём первые четыре примера двухвалентных изопараметрических 
многочленов вообще без коэффициентов: 


вида: | 1+х] + 








1.р=1, Ш: х! (а=1); 
2. р=2, шо = хо +х} (а=1и2); 
3.р=3, пз= хз + 2 ° ж+ж (9=1,2и3); 


4.р=4, п4= хд + (3-х +2) + хз хр + 8 (9=1,2,3и4). 


8 1.7. Экстремумы для функции от независимой скалярной 
переменной, заданной через обратную функцию 


Пусть целевая функция У от независимой переменной х задана 
через обратную функцию х = х(У) и в явном виде у тут не выражается, 
т. е. как у = У(х). Для того чтобы здесь найти и идентифицировать 
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экстремумы или стационарные перегибы прямой целевой функции 
у(х), необходимо каким-либо образом выразить её дифференциалы и 
производные через те же характеристики для обратной функции Х(У). 
Разумеется, в этих преобразованиях должна учитываться возможность 
многозначности отображений У(х) и х(у). Отметим, что ещё Ньютон 
вычислял методом флюксий самые первые коэффициенты обратного 
степенного ряда через коэффициенты прямого степенного ряда [63]. 

Для производных 1-го порядка имеем весьма очевидную простую 
формулу: 


“79 136 ‚или Чу(х) Ако : 


В обоих вариантах этой формулы аргументы Хх и У должны отвечать 
заданной функции х = Х(У) и быть взаимно однозначными парами! 

Для вычисления дифференциалов и производных целевой функции 
любого необходимого порядка р, например, скалярной функции У(Х), 
непрерывно дифференцируемой не менее чем р раз, обратимся вновь 
ксистеме (22). Представим целевую функцию как отображение на самоё 
себя — через формально зависимую в данном случае переменную х(У), 
а именно в виде у = у[х(у)]. Как первичная переменная, т. е., по сути, 
аргумент, она в данном случае имеет 1-й ненулевой дифференциал и 
следующие порядка более 1 нулевые дифференциалы Фу, у, Чу, .... 
Подставляя в систему (22) зависимую переменную с заменой Х -— х, 
получаем новую систему уравнений для дифференциалов и производных 
обратной и прямой функций: 


ду 
ду =-- 4х, 
ы 4х ь 
922 42 
0=— 54 +—4 х, 
ах 4х 
3 2 
о Зак +3. Удка?х+ УВ, 
ах ах Чх (34) 
4 3 2 
ОУ 6- Ух? 924. Ух а3х + 
4х 4х 4х 
+3 В 54? ов | 
ах > 
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Отсюда логичным и вполне естественным образом выводятся общие 
рекуррентные формулы порядка р для производных целевой функции, 
т, е. ЧРу/ЧХР, и для её же дифференциалов, т. е. АРу(х) = (АРу/АхР)ах?. 
Рекуррентные формулы весьма удобны для нахождения связи между 
производными прямой и обратной функций порядка от 1 до р: 


























5. [®] 
ах (ау) ° 
42у_ (ау} а2х 
4х ах ау? | 
43у_ (4у\ 4х 3) 
ах3 4) ау 4“) ах? ау? | (35) 
Кы Чу)” а*х +(®) 4?у ах 
4х 4х 4у4 4х) ах? ау 

3 [* а?у ах [“ Фу а?х 

4х7 ах? ау? Ч) ах ау? 





Вышеуказанные формулы содержат те же самые полиномиальные 
коэффициенты, что и фигурирующие в (22), (23), (28) и (32). Далее, 
придерживаясь стандартной процедуры, изложенной в $ 1.1, находим 
и идентифицируем неособые экстремумы или стационарные перегибы 
целочисленных уровней р > 2. Отметим при этом, что стационарный 
перегиб кривой у(х) есть крутой перегиб кривой х(У) в одной и той же 
точке в сопутствующих базисах (у, х) и (х, у). 

Полученная система рекуррентных формул (35) для поэтапного 
вычисления производных аналитических (или даже наиболее общо — 
рразнепрерывно дифференцируемых) обратных функций от скалярного 
аргумента в случае, когда они явно не выражаются, имеет, разумеется, 
гораздо более универсальное значение и применимость, нежели только 
в аспекте изучаемых в монографии решений задач на экстремум. 

В свою очередь, из системы (35) далее довольно просто получаются 
итоговые общие формулы для связи производных прямой и обратной 
функций любого наперёд заданного порядка р. Ниже они приводятся 
в мнемонически наиболее удобной форме: 
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—2 











(36) 























Обратим внимание на то, что хорошо известная вторая формула 
системы вытекает также из тождественных друг другу двух формул 
для кривизны касательной окружности к гладкой плоской кривой — 
абсолютной её характеристики: 


Причём сумма обеих частей этой формулы, с учётом переноса, есть 
некий нулевой дифференциальный инвариант для плоской гладкой 
кривой, что далее получит свою интерпретацию и обобщение в 5 1.7.1. 

Таким образом, в данном параграфе был изложен аналитический 
подход к решению экстремальных задач в тех случаях, когда целевая 
функция задана формальным образом только через обратную функцию, 
т. е. в виде явной формулы она не выражается. Вместе с тем, выше 
в самом общем виде была установлена взаимосвязь между прозводными 
непрерывно дифференцируемых хотя бы р раз прямой и обратной 
функций порядка р. Отсюда, в частности, можно ещё дальше развить 
понятие об изопараметрических многочленах ($ 1.6.1). 
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8 1.7.1. Зеркальные изопараметрические многочлены 


Все формулы в системах (35) и (36) носят зеркальный характер по 
отношению к взаимному обмену переменной и функции х <> у. Кроме 
того, систему (36) можно преобразовать и дальше, а именно к форме 
системы изопараметрических многочленов валентности 2. При этом 
отмеченное свойство зеркальности сохраняется. Получаемая в итоге 
система приобретает зеркальный вид (без 1-го уравнения, так как оно 
используется при формировании этой новой системы): 











2 2 
И 
Чу 4х 
2 2 
аЗу аЗх З. а2х _ а?у 
Чу 4х 4х Чу |’ 
3 
4, 24 2 33 2 (37) 
4’у 4х 10.9 х.9х 15 4^х | _ 
Чу 4х 4х 4 4х 
3 
2... 33 2 
А 
Чу 4 Чу } _ 





Поясним смысл этих уравнений. Если аргумент функции У(х) 
имеет приращение 4х, то функция имеет дифференциалы у, Фу, 4, 
“у... . Если аргумент функции х(у) имеет приращение 4у = (4у/Ах)Ах 
(т.е. между 4Х и Ду задана естественная здесь взаимосвязь), то обратная 
функция имеет также ненулевые дифференциалы @х, 2х, Чх, 4х, .... 
Все они и фигурируют в системе уравнений (37). 

Для того чтобы далее перейти к форме уравнений, отвечающей 
изопараметрическим многочленам валентности 2, примем следующие 
обозначения: 


дуР+1 _ акт! _ 
=Ур› вр Ур. 








ду 


Применив данные обозначения к системе (37) в двух еб вариантах, 
в итоге приходим к паре формально тождественных систем зеркальных 
изопараметричеких многочленов: 
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ви 
му = 95 +3-2, 
м = +10-55 -91 -15-}, 
№1 = 91 +15- -М +10-У2 105-55 +2 +105-%%, 
| 
и -ы, 
У му +3-м7, 
У №3 410-91 - 15-97, 
м 5—1 +15-9) -91 +10-%2 —105-%) -7 +105-91, 





Числовые коэффициенты при слагаемых-произведениях здесь те 
же, что и в исходной системе (36) для производных обратной функции. 
Сумма числовых коэффициентов для каждого уравнения с параметром 
р равна (-р)! Причём знаки этих коэффициентов даёт множитель (-1)1. 
Количество слагаемых-произведений в каждом из уравнений задаёт 
числовая функция Жр), согласно, например, её значениям в табл. 2. 


8 1.8. Экстремумы для неявных функций от независимой 
скалярной переменной 


Пусть целевая функция у = у(х) задана вообще неявным образом 
уравнением Ку, х) = 0. Причём, по-прежнему, она обладает свойством 
непрерывной дифференцируемости, или эволюционности порядка хотя 
бы не менее 2-х. Предположим, что исходно заданная функция Ку, х) 
также в достаточно малой окрестности кривой У(х) на плоскости 
(х, у), по крайней мере, дважды непрерывно частно дифференцируема 
по хи по у. Полный (нулевой) дифференциал от Ё вдоль кривой У(х) 
вычисляется по формуле: 


ае[х, У)| = +6 = 0. 
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Поскольку ОЙОХ и ОРу в окрестности у(х) существуют и непрерывны, 
то из этого уравнения можно выразить 1-ю производную целевой 
функции как: 
ча, 69 
ах 0х ду 
(Е(х, у) = 0). 

В свою очередь, 2-я и 3-я производные целевой функции при 
соответствующих ещё более сильных предположениях вычисляются 
дальнейшим последовательным дифференцированием (38) как: 














4? (ет ‚а И 

42 | ду \4 дудх 4х 22| ду’ $9) 

3 Г 22 2 ое 3 2 

а. Е в От [№ 

4х ду? 4х 4х? 99 4х?  о02убх\@х ей 
40 


3. 





д: 3.2 (9 ‚584 | 21 
дубх? 4х дз \4х/ дз | ду 


Эти формулы для удобства представлены здесь в рекуррентной 
форме. Обратим внимание на то, что и в данном случае (по понятным 
соображениям) формулы (39) и (40) носят зеркальный характер по 
отношению к замене переменных Х <> у. 

В простейшем случае функция у(х) стационарна в точке {х„, У}, 
удовлетворяющей уравнению Ку» х,) = 0, если в ней выполняются два 
частных условия 


ОЕ ОЕ 
эх Хо) =0 и 5 Хо) = 0, 


что вытекает из формулы (39). Чтобы тут в итоге выяснить характер 
стационарности У(Х) в этой точке, сначала обратимся к формуле (39): 
2 2 
4^у ОЕ ОЕ 
— >» хо) — =—50%0,Х)/-- 
4х дх ду 
При отрицательной 2-й производной У”(х) имеем максимум, при 
положительной 2-й производной У”(х) имеем минимум. Если же она 
нулевая, то тогда обратимся к формуле (40): 
3 3 
Чу ОЕ ОЕ 
—5 0» Хо) =-— 0/0, Хо) / (У, Хо). 
4х3 дх3 ду 


(Ус, Хо). 


х 
При нулевой 3-й производной имеем стационарный перегиб ит. д. 
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8 1.9. Экстремумы уровня р = 2 для функций 
от независимой векторной переменной 
в аффинном пространстве <" 


Пусть целевая скалярная функция задана как у = У(х,, Х,, ..., Х,). 
Причём, пока иное не оговорено особо, х, х., ..., х, суть п частных 
независимых скалярных вещественных переменных, или аргументов. 
Они могут принимать некие подмножества допустимых значений на 
собственных вещественных числовых осях — множествах (-—00,+00) =(@ . 
Эти частные множества путём их прямого (декартова) произведения 
объединяются в некоторое общее множество. Если такое множество 
непрерывно-связное, то оно называется областью определения данной 
функции (Й < с". В свою очередь, отображение у((4) есть полное 
множество значений целевой функции. Зачастую поведение функции 
рассматривают на некотором компактном подмножестве, образуемом 
подобным образом частными компактными подмножествами чисел х,, 
например, отрезками типа [а,, 5.] = ©; < (@ .. С целью более удобного 
представления математических операций с функциями У(Х , Х.,..., Х„) 
далее они рассматриваются как функции только от одной, но векторной 
переменной, т. е. как У(х). В такой краткой форме представления Х есть 
п-мерная независимая вещественная переменная, или вектор-аргумент. 
Он может принимать, в принципе, любые значения на области (Д 
определения целевой функции в П-мерном вещественном аффинном 
координатном пространстве <". Однако для наглядности или для ещё 
большей конкретности целевую функцию У(х) можно рассматривать на 
некотором заданном компактном подмножестве, например, на П-мерной 
закрытой области ©7 " < <". Причём заданное множество © " есть 
некоторая прямоугольная П-мерная арифметическая область в <", 
тождественно равная прямому (декартову) произведению множеств 
заданных частных отрезков © ‚< (@ .Что важно отметить, на компакте, 
согласно теореме Вейерштрасса [17, 23], непрерывная функция У(х) 
обязательно достигает своих локальных верхней и нижней граней. 
Традиционно (по крайней мере, с точки зрения линейной алгебры) 
считают, что в исходной форме векторный аргумент есть вектор-столбец, 
или пх1-вектор с частными скалярными элементами Х , Х.,..., Х‚. 

Обратим здесь особое внимание также на то, что исходное п-мерное 
координатное пространство для отображения любых или допустимых 
значений переменной х по своей природе, вообще, является аффинным 
пространством — с заданной в нём аффинной системой координат. 
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Ему исходно не присущи какие-либо меры или нормы для оценок длин, 
расстояний и углов. (Переход к метрическому или нормированному 
пространству в данной монографии всегда специально оговаривается 
и применяется лишь только тогда, когда это вызывается какой-либо 
необходимостью, например, при оценках скорости сходимости в ряде 
численных процедур оптимизации.) 

Пусть целевая функция ограничена либо сверху, либо снизу, т. е. или 
у(х) < М или У(х) > М, где М — конечное число. Тогда в первом случае 
У(х) на некоторой области ©" принимает максимум и во втором случае 
У(х) на некоторой области ©/" принимает минимум в некоторой точке 
5° Е ©/". Соответственно значение у(5°) есть некий экстремум данной 
целевой функции. Причём дальнейший интерес представляет только 
такой нетривиальный вариант экстремума, для которого точка 5° не 


является какой-то граничной точкой области (4) или ©", а находится 
именно внутри её (т. е. внутренний экстремум). 

Далее для функции У(х) рассматривается аналитический метод 
решения задачи на экстремум целочисленного уровня р = 2 аналогично 
тому, как это было изложено в $ 1.1 для одномерного варианта, но уже 
в многомерном варианте. Такую задачу для общего класса хотя бы 
дважды непрерывно дифференцируемых скалярных функций впервые 
достаточно результативно рассмотрел Леонард Эйлер (1730 г.) [57]. 

Примем, как и ранее, что целевая функция У(х) по своей природе 
эволюционная, т. е. на области своего определения она ограничена по 
величине — либо сверху, либо снизу и, вместе с тем, непрерывная и 
непрерывно дифференцируемая. Для нахождения и идентификации 
имеющихся локальных экстремумов эволюционных функций У(х) на 


вещественной области определения в <#" используют технику полных 
дифференциалов, развитую впервые также Леонардом Эйлером [57]. 
Предположим, что целевая функция У(х) рассматривается на некоторой 
закрытой области ©7" < <" и при этом она на ней, по крайней мере, 
дважды непрерывно дифференцируемая. При таких ещё более сильных 
допущениях необходимые и достаточные условия существования в 
некоторой внутренней точке данной области 5°е ©7" неособого и при 
этом строгого экстремума скалярной функции у = У(х) 2-го уровия 
формулируются в виде классических правил Эйлера. Они выражаются 
здесь через полные дифференциалы функции — отдельно для случаев 
её максимума и минимума того же 2-го уровня: 


Чу(х = 5") =0, Фу(х = 5) < 0; (41) 
ух =$) = 0, Фу(х = $) > 0. (42) 
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Очевидно, для нестрогого экстремума целевой функции в правых 
неравенствах применяют соответственно знаки < и >. Важно отметить, 
что в рассматриваемом многомерном варианте в правых частях формул 
(41), (42) возможны также знакопеременные значения второго полного 
дифференциала функции, что отвечает её стационарной седловине 2-го 
‘уровня (смешанного типа). В случае жеобнуления вточке$ и 2-го полного 
дифференциала функции теоретически требуется исследование в ней 
4у ит д. — с повышением целочисленного уровня либо экстремума, 
либо стационарной седловины (чистого или смешанного типа). 

В широком смысле первое требование в (41) или (42) позволяет 
выявить точку $ или точки $, или подмножество ($) стационарности 
функции У(Х) на области её определения. В анализе это обосновывает 
классическая теорема Эйлера — Ферма о необходимом и достаточном 
условии существования в точке $ стационарности для непрерывно 
дифференцируемой функции У(х). Оно выражается аналитическим 
образом любым из двух указанных ниже тождественных уравнений — 
либо через 1-й дифференциал, либо через 1-ю тензор-производную 


(градиент) функции в искомой точке стационарности $ Е ©: 





ох ЗО (43) 
4х 


Кроме этого, указанные уравнения задают необходимое условие 
существования экстремума именно для непрерывно дифференцируемой 
скалярной функции, причём экстремум для неё может быть только 
неособым (лемма Эйлера — Ферма). 

Полные 1-й и 2-й дифференциалы функции в (41)—(43) вычисляются 
обычным образом — как полные суммы частных дифференциалов, 
составляющие линейную и квадратичную дифференциальные формы: 


Чу=У (55); = Ха, (44) 
Г Е 
пп пп 82 
р — (45) 


Причём для частных смешанных производных порядка р > 2 от 
скалярной функции у = у(х) последовательность дифференцирования 
по частным скалярным переменным, как известно, значения не имеет. 

Вышеуказанные скалярные дифференциальные выражения порядка 
Ти 2(а также подобные выражения ещё более высоких порядков) 
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целесообразно представлять в краткой форме записи, используя для 
этого тензор-производные от функции У(х) по х соответствующего 
порядка и пх1-вектор дифференциала аргумента @Х с элементами 4х, 


Чх,, ... , Чх, иего транспонированную 1хп форму: 
2 
о о В (46, 47) 
ах ах’ах 


Тензор-производная от скалярной функции У(хХ) по х порядка р при 
р = Г есть её градиент; при р = 2 есть её симметричная матрица Гессе 
и вообще при р > 1 есть её функциональная симметричная р-мерная 
матрица всех частных производных порядка р. В дифференциальных 
выражениях (46), (47) 


9х1 


есть пх1-вектор дифференциала х, при этом, строго говоря, х в ©" 
в данной аффинной системе координат определяется именно как 
радиус-вектор; 


Чу _| бу бу 95| |0 (=) 
4х (0х 0х) дп а : 


есть 1хП-вектор градиента, или 1-я тензор-производная функции У(Х); 





92у 92у 92у 
9х2 0х 0х› Ох,0Хи 





2 2 2 
ву ПУ 92 __ 
Ох>0х1 дх.? 0х›0хи |= х ) (Ы1=Ъ») 











4х’Ах й 





д2у 92у 2у 
хп 9х1 Охп0х> м дхп2 








есть симметричная пхп-матрица Гессе, или 2-я тензор-производная 
функции У(х). Её детерминант именуется как гессиан. 

Нетрудно видеть, что при формальном перемножении по известным 
правилам линейной алгебры этих тензор-производных на дифференциал 
аргумента — один раз в (46) и два раза в (47) получаются линейная (44) 
и квадратичная (45) дифференциальные формы. 
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С учётом этих обозначений, теорема Эйлера — Ферма (43) и правила 
Эйлера (41), (42) приводятся к компактному виду, сходному по форме 
с ранее изложенными правилами (1)—(3): 


4у= 9 дах =0 <> 45 (з) =0; (48) 
ах ах 
ау 2 Ч?у 

дау=— ($ )ах=0, а’у=ах— ($ )ах < 0; (49) 
ах Чх’ах 

2 

Чу = Ч ках = 0, а?у = У )ах >0. (50) 

ах ах’ах 


Геометрический смысл обеих формул (48) легко демонстрируется 
именно в метрическом евклидовом координатном пространстве «^^. 
Как было принято ещё в начале данного параграфа, х есть независимая 
векторная переменная в координатном пространстве (радиус-вектор). 
Поэтому она и её 1-й дифференциал 4х принимают любые направления 
в некоторой допустимой области ©". Следовательно, для обнуления 
1-го дифференциала функции Чу её градиент должен быть ортогонален 
4х, принимающему всевозможные направления. Но такое требование 
реализуется геометрически тогда и только тогда, когда градиент Ау/Ах 
в точке стационарности нулевой. 

В случае нестрогой стационарности (экстремума) целевой функции 
у(х) 2-го уровня тут имеется некоторое непрерывное множество ($) 
решений уравнения (48). Соответственно в формулах (49) и (50) для 
дифференциала 4?у применяются знаки неравенств <и>. 

Отметим то особое обстоятельство, что для р > 2 непрерывно 
дифференцируемой у(Х) или, гораздо менее общо, — для аналитической 
У(х), в отличие от таковой целевой функции от скалярного аргумента 
У(х), стационарный перегиб также может реализовываться при любом 
целочисленном уровне р > 2 (в некоторой точке $*). Стационарный 
перегиб в многомерном варианте общепринято называется седловиной. 
Геометрически наглядно седловина проявляется для функции У(Х), 
заданной на <#?. В случае стационарной седловины 2-го уровня для 
у(х) в точке $* её 2-й дифференциал Ч4?у(х=5°), отсчитываемый от этой 
точки, принимает и положительное, и отрицательное, и, возможно, 
нулевое значение в зависимости от направления вектора 4х: 


2 
ЧУ ках — ‚ФУ 
Ри )ах = 0, ах не ® )ах > л< 0. (51) 
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Естественно, возникает вопрос об оценке каким-либо достаточно 
простым способом знака или знаков 4?у в (49)-(51), так как вычислять 
все эти знаки по всем мыслимым направлениям 4Х в ©7" совершенно 
нереально. 

Из теории квадратичных форм (см., например, [25 и 31]) известно 
следующее. Для того чтобы данная пхп-матрица была отрицательно 
определённая как в (49), необходимо и достаточно, чтобы все её п 
собственных значений (спектр) были отрицательные. Для того чтобы 
данная пхп-матрица была положительно определённая как в (50), 
необходимо и достаточно, чтобы все еб п собственных значений (спектр) 
были положительные. Разумеется, все эти правила относятся именно 
к симметричным матрицам, каковой, в частности, является матрица 
Гессе. Но, однако, в случае нестрогого экстремума матрица Гессе 
полуопределённая — либо отрицательно (для нестрогого максимума), 
либо положительно (для нестрого минимума); при этом она имеет и 
нулевые собственные значения. В случае седловины как в (51) матрица 
Гессе знаконеопределённая; но при этом она имеет и положительные, 
и отрицательные, и, возможно, нулевые собственные значения. 

Итак, один из способов оценки знака 4?у для реализации правил 
Эйлера сводится к вычислению собственных значений матрицы Гессе. 
Хотя, по сути, требуются только их знаки. Есть гораздо более простые 
возможности для оценки этих знаков и её знакоопределённости. 

Пожалуй, самый простой и известный способ идентификации 
характера знакоопределённости для симметричной пхп-матрицы даёт 
критерий Сильвестра. Согласно данному критерию, о характере судят 
по знакам п еб последовательных угловых главных, или диагональных 
миноров (т. е. детерминантов) размеров 1х1, 2х2, ..., КхК, .... ПХП, 
формируемых вдоль главной диагонали слева направо. Если все они 
положительные, то и матрица положительно определённая, и обратно. 
Если же все они последовательно знакочередуются в порядке знаков 
«—», «+», «>, ..., то матрица отрицательно определённая, и обратно. 
Отсюда в первом случае её гессиан обязательно положительный, а во 
втором случае её гессиан имеет знак коэффициента (-1)". 

Но симметричная пхп-матрица — положительно полуопределённая 
имеет положительные и нулевые диагональные миноры (в том числе все 
нулевые только размера более гхг); — отрицательно полуопределённая 
имеет с переменным знаком коэффициента (-1)Ки нулевые диагональные 
миноры (в том числе все нулевые только размера более гхт). 

Отметим, что теоретической основой этого критерия является закон 
инерции квадратичных форм Сильвестра (относительно базиса). 
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Иной способ оценки знакоопределённости матрицы Гессе в точке 
стационарности осуществляется по знакам коэффициентов её векового 
уравнения с использованием классического правила знаков Декарта 
и того обстоятельства, что для вещественной симметричной матрицы 
её собственные значения (корни уравнения) обязательно вещественные. 
Напомним, что коэффициенты векового уравнения в знакочередующейся 
форме (см. гл. 4) для любой квадратной матрицы (или же еб скалярные 
характеристические коэффициенты) суть полные суммы всевозможных 
диагональных миноров этой матрицы одного и того же с ними порядка. 
Если все скалярные коэффициенты положительные, то матрица Гессе 
положительно определённая (при этом 4?у > 0). Если же коэффициенты 
знакочередуются (как выше миноры), то матрица Гессе отрицательно 
определённая (при этом Фу < 0). Но если они далее обнуляются при 
превышении некоторого порядка г (ранга симметричной матрицы), то 
матрица Гессе знакополуопределённая. В иных случаях матрица Гессе 
знаконеопределённая. Учитывая прямую взаимосвязь коэффициентов 
и характеристических следов матрицы ($ 4.4), аналогичные признаки 
выражаются через следы степеней матрицы Гессе от 1 доп. 

Покажем инвариантность вышеизложенных правил относительно 
линейных модальных преобразований У (4е1У = 0), а, следовательно, 
и их общую применимость для оптимизации скалярной функции У(х) 
на аффинном координатном пространстве <". Пусть новый базис 


выражается через исходный как Е, = У.Е. Тогда имеем: 
2 х 


94% 19% 











х = \Уй >> — = = =—, 
4х 947 42 47 
2 2 2 
ПУ ФУ ЕМУ 
ах'Ах 49(У7)'4(У?) Чт’ 47 


Следовательно, во-первых, обнуление обоих градиентов происходит 
здесь всегда в эквивалентных точках $ и \'$; во-вторых, в силу 
несингулярности модальной матрицы, матрицы Гессе в обоих базисах 
знакоопределяются одинаково (т. е. знаки их собственных значений). 
Более того, в следующем параграфе будет отдельно показано, что 
инвариантность этих правил имеет место и по отношению к общим 
нелинейным модальным преобразованиям. (Но степени их гладкости и 
регулярности, в принципе, должны отвечать уровню экстремума.) 
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жжх 


Пример 1. Проанализировать с точки зрения оптимизации скалярную 
целевую функцию 2-го порядка от х: 


а =а(®) =1/2-х'Ох+2° -х+а (4 С #0). 


' 
4 —1 
ыы = Ох+8 =0 > х=5=-ОС в. 
Чх 
В точке $ имеем: 
— максимум, если С отрицательно определённая; 
— минимум, если С положительно определённая; 
— стационарную седловину, если С знаконеопределённая. 
Экстремальное значение целевой функции выражается как: 


96) =-1/2-2' 6 +90. 


Пример 2. Выявить и проанализировать экстремумы целевых функций 
у, и У, соответственно для разности и для отношения среднего 
арифметического и среднего геометрического от двух вещественных 
чисел х, >Оих, > 0. 

Экстремальные задачи такого рода, как хорошо известно, при 
количестве переменных п = 2 решаются тривиальным путём исходя из 
положительности х, их,: 


У _= р | 7% 


2 
В о 
2-х. -х, 4 ю х! 4 


Отсюда сразу же следует, что обе функции, неограниченные сверху, 
имеют минимумы у, = Оиу, = 1 при х‚ =х, > 0. Однако такие 
тривиальные способы решения задачи при П > 2 не реализуются. 


2 
= 2 сх, = У — Ух >0 





Аналитический способ, напротив, является универсальным, т. е. 
он может применяться при любом п > 2. В наиболее полном виде 
аналитический способ рещения таких задач будет продемонстрирован 
в гл. 4 при доказательстве генерального неравенства для средних 
величин. Здесь же этот способ демонстрируется только на примере 
поставленной конкретной частной задачи при п = 2. Причём, в силу 
положительности х, их,, в функциях у, и у, для упрощения решения и 
анализа применяются квадраты средних величин. 
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хи +х, 2 (хх \ 
’ ионы -[ > -) - (М>) -( = -) 

















Чу, _| ду, бу 
2=2(х) = ты [2.2 = (1/2-(х, хо); 1/2 (х›-х,))=0> 
>х=5$: х, =х, >0, у, ($) =0; 
а?у, 9? 
а?у, д.2 0х1 0х› 1/2, -1/2 
О | с: |ГАщи. 2) 7 
а 0 у 0`у и 
0х! 0х> дх,2 


иа =1/2+1/2=1>0, 4е@ =1/4-1/4=0. 


Итак, целевая функция у (х‚, х,) имеет тут нестрогий минимум на 
биссектрисе 1-го квадранта, т. е. при х^ =х, > 0 (рис. 6). Её матрица 
Гессе здесь вырождена именно вдоль этой биссектрисы. Поверхность 
у, (х‚› х,) по своей геометрии в целом полувогнутая. 





У.) 


У..2 


У,(х,, х 


Ук х; 

















Рис. 6. К рассмотрению функций разности (у) и отношения (у,) 
среднего арифметического и среднего геометрического в аффинном 
3-х координатном и 2-х координатном (профильном) базисах при двух 
числовых переменных х, их, > 0. 
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2 
Хх +х хх 
2) за уход ужьяа)=[ 5 грот [2] 








Х1 
ду ду, ду 2 2 
8=5(х) = [2.5 = (45-х ли. (ж -х/, }} => 
> хХ=$: Хх] Хо > 0; Уу2(5)=Е 
2 2 
д`у, ду, 
2 2’ окбх 
а дх 102А2 
в=6% ==> = | = 
х'Ах а?у, э?у, 
0х, 0х, дх,* 
И”, 4 +1 х, 7) 
а, х, /2х,3 


6) =х, /2ж 3 +х, /2х,? = (> ы +5 /2ж 3х,3 >0, 


2 2 
выобд-и6 [1х2 Иа ^) (2 -х,?) <0. 


И здесь у›(х,, х,) имеет нестрогий минимум на биссектрисе 1-го 
квадранта, т.е. прих =х, =и>0 (рис. 6), где матрица Гессе вырождена, 
а поверхность у.(х , х,) локально полувогнутая, так как 

+, -—1 2 
9($) =1/2щ. ‚ и9($) =1/ 97 >0, 4е{С($) =0. 
||, Е 

Но вне этой биссектрисы (!) поверхность у.(х., х,) в пределах 1-го 
квадранта имеет повсюду седловинную форму. Исключением является 
только начало системы координат, где эта поверхность асимптотически 
приближается к оси ординат (у, > 1). Особо отметим, что поверхность 
у›(х› х,) имеет семейство образующих линий в виде параллелей на 
координатной плоскости (х., х.) с возрастанием их высоты (ординаты) 
при удалении от биссектрисы 1-го квадранта. Все они исходят от оси 
координат — каждая со своей высоты: у.—= 1/4. (К+ ИК +2) = с0п$% 
где К =х,/х,. В частности, для биссектрисы 1-го квадранта имеем К = 1, 
у, = 1; но при К —> 0 или при К — © имеем у, = с0п5ё — 00. Вековое 


уравнение для матрицы Гессе и2 — 9 О. и +46 С = 0 имеет 2 решения: 


2 2 
Жо, ых" 1 1 
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Вточкахвнебиссектрисы 1-гоквадрантасобственныезначения |1, и |1. 
суть разнознаковые, а на биссектрисе Ц > 0, п, = 0. Отсюда вытекает 
весьма важный вывод. Решение данной задачи наглядно иллюстрирует 
тот факт, что для идентификации нестрогой стационарности целевой 
функции У(х) нужно знать знакоопределённость её матрицы Гессе 
именно на области стационарности, а не вообще в её окрестности! 
Каков же конкретно этот нестрогий экстремум — глобальный или 
локальный устанавливается затем дополнительным исследованием. 
Так, в этой конкретной задаче имеем глобальный нестрогий минимум 
целевой функции у,(х, х,) на биссектрисе 1-го квадрата, поскольку 
здесь любой другой точке вне биссектрисы отвечает проходящая через 
неё образующая поверхности с постоянным значением на ней целевой 
функции, большем |[ (см. выше), и на которой её градиент ненулевой. 

Интересно также проследить изменение целевой функции у.(Х/, х,) 
в направлении х, перпендикулярном к биссектрисе 1-го квадранта, 
например, в зависимости от х, (см. рис. 6): 

у (х1) =1/4.[ х, /(а-х,)+(а-ж,)/х, +2] = а? /4х (а-х,); 
59-14 а (ам -а/х? |-0 > х =а/2, 
4х? 

2 
32-12. (а-х)} +? (ак х,3 >00: пиву. =1: 
ах? 


Рассмотренная выше весьма замечательная поверхность у.,(х, х,) 
дополняется своим симметричным отражением в 3-м квадранте, где обе 
величины х, их, и их те же самые средние формально отрицательные. 
Чисто геометрически поверхность получается в результате совместного 
вращения вокруг оси у, и поступательного движения вверх по её же 
направлению вверх и вниз прямолинейной образующей, исходящей из 
начала координат и параллельной плоскости (х, Х.). При равномерной 
скорости еб вращения в направлении по или против часовой стрелки 
скорость движения этой образующей по вертикали возрастает по мере 
приближения её проекции к оси Х, или х,. Среди всех положений этой 
образующей единственное исходное положение как биссектрисы 1-го 
и 3-го квадрантов на уровне у, = 1 является областью стационарности 
функции у.(х,, х,), так как только на данной области поверхности 
градиент и, следовательно, производные по направлениям нулевые! 
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8 2.1. Условные экстремумы уровня р =2 
для функций от зависимой переменной типа 
Х ес 1: ХЕХ(Ц), Ч Е <Я, а < п 


В данном параграфе пх1-вектор Х рассматривается как зависимая 
переменная от 4х1-вектора и — некоей независимой переменной, или 
аргумента, где 4 < п. Суть задачи заключается в аналитическом поиске 
условного экстремума эволюционной целевой функции У на гладком 
и регулярном вложенном многообразии (Х) < ©" < с", заданном 
параметрическим способом. Причём ©" < с" есть некая п-мерная 
закрытая область. Для заданной целевой двухступенчатой сложной 
функции у = У[х(и)| = Ки) аргумент и < с (параметр) может 
принимать любые значения из области определения функции Рв < 9. 

Пусть у = У(х) и Х = х(и) — скалярная и векторная функции, 
однозначно определённые и, по крайней мере, дважды непрерывно 
дифференцируемые на ©71 < с #1 и соответственно на <9. Причём (см. 
далее) имеет место непрерывное и полное отображение переменной и 
из © в некоторую геометрическую поверхность (Х) в ©", где а < п. 
Однако особенно здесь подчеркнём то, что при дифференцировании 
по переменной Х она понимается обычным образом — как свободная 
переменная х, изменяющаяся от своего точечного значения, но на (Х ), 
во всевозможных направлениях в координатном пространстве <! 
По правилу дифференцирования двухступенчатой сложной функции 
находим её 1-й полный дифференциал и 1-ю тензор-производную по и. 


у-Уж-®.Жа, [ан (22) 
[6 4х Чи ди 
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где Аах=|”^2 | — условный 1-й дифференциал х, отсчитываемый, как 
0Хп 

и свободный дифференциал ЯХ, от какой-либо точки © Е (Х). Различие 

между ах и АХ состоит в том, что первый из них принимает, как указано 

выше, любые направления в < #1 в точке © Е (Х), а второй — только те 

направления здесь же в ©", которые производятся дифференциалом 


Чи при его отображении в < #1. В иной форме имеем: 


9у_%& 
Чи 4х 4: (53) 
1ха 1х0 пха 


В (52) и (53) фигурируют дифференциальные характеристики: 
ду ыы ь 
о У(Х), или 1-я тензор-производная функции У(Х); 


х 
о Якоби, или 1-я тензор-производная функции х(и). 
и 


Соотношения (52), (53) мнемонически и по смыслу аналогичны первым 
соотношениям из систем (22), (23) для скалярных переменных Х и 1. 
Структура пха-матрицы Якоби, данная ниже, получается в результате 
последовательного частного дифференцирования пх1-вектора Х в ©" 
по компонентам 4х1-вектора и в <Я. Поэтому матрица принадлежит 


аффинному пространству < #779. В матричной форме она имеет вид: 











0% 0х» 5%, 
и 
и = би, да, ба = ба; р (1=1; 1= а). 
я я “а. 


В случае 4 = п матрица Якоби принимает квадратную форму, а её 
детерминант тогда называется якобианом. Отдельный и весьма важный 
частный случай отвечает здесь постоянной пх-матрице Якоби, т. е. 
прямоугольной числовой матрице А размера пха и ранга 4. Например, 
этот случай реализуется на вложенной 4-плоскости (Х): х = Ам + Б. 
Тогда матрица Якоби выражается как АХ / 4и = А = Соп8ё. 
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Более общий случай отвечает пха-матрице Якоби постоянного 
ранга 4 < п и конечной по величине, что обеспечивает тут непрерывное 
и изоморфное ранга 4 векторное отображение Х = х(и) параметра и 
из © в с". Её дифференцируемость К раз обеспечивает гладкость 
порядка К, конечность тензор-производных до порядка К обеспечивает 
регулярность порядка К. Вектор-столбцы пх4-матрицы Якоби ранга 4 
суть линейно независимые. Пространство <#Ч изоморфно отображается 
тогда в гладкую и регулярную 4-поверхность (Х) в ©. Отметим здесь, 
что альтернативным способом та же 4-поверхность (Х) в < #1 задаётся 
через сужающее отображение пх1-векторной переменной и из © 
в <; пхп-матрица Якоби сингулярная и имеет постоянный ранг 4 < п. 

Если АХ / ди повсюду существует и имеет постоянный ранг 4, то она 
полнозначимая, а отображение х(и) и Ч-поверхность (Х) суть гладкие и 
регулярные порядка, по крайней мере, 1 и ранга 4. 

Пусть у = у[х(и)] = Киа) стационарная в точке $ е <. Согласно 
правилу Эйлера — Ферма (48) и соотношению (52), для условной 
стационарности У(х) необходимо и достаточно, чтобы выполнялись 
нижеуказанные уравнения, а градиент Чу/АХ в точке $ был ненулевым: 





ес У помо (54) 
ди дх ах ди 
1ха 9х1 1х0 10х11 1х0 пха 4х1 
ай (55) 





Чи ах аи 
В уравнениях стационарности (54), (55) значения тензор-производных 


и дифференциалов даны в эквивалентных точках $ Е <#Ч и Е © #1. 

Идентификация условного экстремума или седловины 2-го уровня 
для данной целевой двухступенчатой сложной функции в самом общем 
случае выполняется через анализ либо её 2-го полного дифференциала, 
либо её 2-й тензор-производной. Последние выводятся аналогично 
тем же характеристикам в скалярных формулах (26) и (27) из $ 1.5, но, 
с учётом правил дифференцирования по векторным переменным: 


2 2 











и бе 
ди’Чи х’ах ах 
1ха аха 9х1 1хп пхп пх! 1хп пх1 
2 (2 - 2. 
4^у ах 4^у  @&х ау Чх 
‹> = + - ь 
а |“ °) ка чии 8, ©6657 


аха ахп пхп пха 1х п пхаха 
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925, 
2; 





р 
где 42% = 9% — условный 2-й дифференциал Х, — 2-я тензор- 


и и’ 
9 
9“Хп 
производная функции Х = х(и). 
Последняя призводная представляет собой исходно трёхмерную 


пхха-матрицу, состоящую из 2-ых частных производных: 




















2 
90° и —. в 
Рив (=1:п; К =1,а). 
дакди; 
Как трёхмерная матрица, она имеет три типа плоских сечений: 
92х; — =— 
1) фронтальные пха-сечения = |, (: 11; ]=14; К сопз!; 
дк ди 
9х; те а 
2) боковые ахп-сечения | (: и; К=Ь а; ] сот; 
дик би 
Ре ВЕ 
3) горизонтальные 4ха-сечения | (.к=Ьа; 1= с008( . 
ча а (к=Ъа ) 


(Последние из них обязательно симметричные.) 

По сути, они отображают возможность существования трёх форм 
трёхмерной матрицы — одной исходной и двух транспонированных. 
Однако из-за перестановочности частных скалярных дифференциалов 
ди уи дик первые две формы идентичны друг другу с точностью до 
двумерного транспонирования, в том числе и по своим сечениям 
при | = К. Следовательно, для вычисления, например, второго 
слагаемого в (57) 1 хп-вектор градиента поэтапно 4 раз умножается 
слева на 4 фронтальных сечений (т. е. при К от 1 до 9), производя в 
результате обязательно симметричную 4х4-матрицу из векторов-строк 


произведения (4у / ЧХ): (92% / дикди); К =1, 4. В свою очередь, первое 
слагаемое в (57) есть тоже симметричная х4-матрица, вычисляемая 
по известным правилам линейной алгебры. Таким образом, после 
суммирования обоих слагаемых в (57) в итоге вычисляется опять-таки 


симметричная 9х4-матрица Гессе а?у / 4и’ам ($). 

Когда все дифференциальные характеристики в уравнениях (54)-(57) 
существуют, тогда, в принципе, возможны три непредельных варианта 
стационарности целевой функции, а, следовательно, и её экстремума. 
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1) Либо 4у/9х($) =0 и ах/4и существует. Отображение Х = х(и) 
регулярное, причём, по крайней мере, в окрестности точки $. Это 
соответствует стационарности целевой функции в $ 1-й ступени, или её 
безусловной стационарности. 

2) Либо 4у/94х($) =0 и существует (значимая), но Ах /4и($)=7,. 
Отображение Х = х(и) в самой точке $ негладкое, но регулярное. Это 
соответствует стационарности целевой функции в $ 2-Й ступени. 
Она реализуется в особых точках негладкой поверхности Х = х(\), 
в которых матрица Якоби отображения обнуляется. В этих точках 
отображение осуществляется деформацией бесконечного сжатия по 
всем направлениям дифференциала и в < 9. Деформация растяжения- 


сжатия в конкретном направлении АХ в < #1 и ди в <Я оценивается 
через отношение Релея в следующей форме: 











и’ | йе ди 
>> И И 
Хе(4и) ее | (58) 
ди’ди ди’ди 


В рассматриваемом тут крайнем варианте (нулевой матрицы Якоби) 
отношение Релея в точке $ нулевое во всевозможных направлениях 
дифференциала аргумента и. 

Выше пока имелась аналогия с первым и вторым вариантом для 
случая скалярных переменных (см. $ 1.5). Далее аналогии нет. 
3) Либо, как в варианте 2, градиент в точке $ значимый, причём 


4у - ах 
че) «(Кег = (8)) ‚ при этом матрица Ах /4и также значимая, 


но | < гапр {4х / ди} < 4, т. е. отображение Х = х(и) полугладкое или 
гладкое и регулярное (по крайней мере, в окрестности точки $). Это 
соответствует тут полуусловной стационарности целевой функции в 5. 
В этом варианте матрица Якоби функции отображения х(и) обязательно 
сингулярная слева (на что указывает нижний индекс Г, у еб ядра). 
Последнее имеет место либо по причине того, что 4 < п, либо по 


причине того, что лишь только < 4 еб столбцов линейно независимые, 
либо по обеим этим причинам. 


Пусть конкретнее матрица Якоби полнозначимая, т. е. она конечная и 
1< гапо {4 / ди} = 4 = соп$ в точке $ и, по крайней мере, на некоторой 
её окрестности в < (По сути, её ранг равен размерности и.) 
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Отсюда 4х4-матрица внутренней гомомультипликации матрицы 
Якоби в (58) на окрестности $ обязательно несингулярная и существует. 
(Обе матрицы здесь полнозначимые). Тогда отношение Релея (58) есть 
положительная величина для любого направления м в <Я и, кроме 
того, имеет глобальные максимум и минимум — см. об этом в $ 4.6. 
Следовательно, при изоморфном преобразовании дифференциала и 
в (52) осуществляется деформация конкретного сжатия-растяжения. 
В этом весьма важном субварианте варианта 3 реализуется истинная 
условная стационарностьу=У(Х) назаданной именно параметрическим 
способом области (Хх) < ©. Геометрически она трактуется в <" так. 
В точке $ вдоль допустимых направлений условного дифференциала 
ЧХ = 0 линейная часть приращения целевой функции всегда нулевая, 
но по другим направлениям свободного дифференциала 4х = 0 она 
ненулевая. (Разумеется, безусловная стационарность целевой функции 
у = У(Х) реализуется только по 1-му варианту — см. выше.) 


Теперь пусть 1 < гапр { 4х / ди} <4в точке $ и, по крайней мере, 


на некоторой её окрестности в < 9. Тогда, в силу сингулярности аха- 
матрицы внутренней гомомультипликации в (58), отношение Релея для 


Чи в направлении её сингулярных собственных векторов в <Я нулевое. 
Соответственно изоморфизма дифференциалов АХ в © и ди в < 


при этом нет. Причём по некоторым направлениям вектора 4а в ©#9 
в результате преобразования дифференциала аргумента, согласно (52), 
происходит деформация бесконечного сжатия. (Отношение Релея есть 
тут положительно полуопределённая, или неотрицательная величина.) 
Тогда в этом субварианте варианта 3 проявляется смешанная условная 
стационарность целевой функции. Она реализуется частично от того, 
что линейное приращение такой целевой функции вдоль допускаемых 
направлений АХ = 0 нулевое, и частично от того, что дифференциал 4и 
при его отображении подвергается деформации бесконечного сжатия. 


Пусть в первом варианте стационарности а?х / ди’ ди ($) также 
существует (как и 1-я тензор-производная). Тогда, согласно (57), имеем: 





#2, %_\ Фу _ & 
дна |6) ван 

Если данная 2-я тензор-производная ненулевая, то по характеру 
её знакоопределённости здесь идентифицируется либо тот или иной 
безусловный экстремум, либо безусловная седловина (1-й ступени, 2-го 
уровня) с применением правил Эйлера (49)—(51) и критерия Сильвестра. 
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Обе фигурирующие тут матрицы Гессе имеют один и тот же характер 


знакоопределённости, если гап {4х / ди} =4, так как конгруэнтное 
преобразование никак не затрагивает знакоопределённость матрицы. 


При гапе { Ч / ди} < 4 присутствуют нулевые собственные значения у 
матрицы Гессе, вследствие чего стационарность является нестрогой. 

Представляет особый интерес такой субвариант варианта 1, когда 
гапе {4х / ди} =Ч=п. Он, по сути, отвечает нелинейному модальному 
преобразованию базиса в задаче на безусловный экстремум (см. об этом 
в конце $ 1.9); причём де {4х / ди} > 0, что обязательно для модальной 
матрицы. В случае нелинейного модального преобразования имеется 
изоморфное отображение одной и той же безусловной стационарности 
целевой функции из одного © в другое ©", которые связаны между 
собой нелинейно, как и переменные х и 7: 


ду ду “ (#] а ду 
ах а[х(2)| 42 \ 47 42 › 





а?у а?у [= , ау @& 
ах’4х а[х(2)'9[х(2)| \ 9 дт’а» \ 42) 


Следовательно, во-первых, обращение в нуль градиентов Чу/Ах и 4у/47 











происходит всегда в эквивалентных точках Х и 7(Х); во-вторых, в силу 
несингулярности матрицы Якоби 4х/42, матрицы Гессе 4?у/ах’ах 
и 9?у/42'42 знакоопределены всегда одинаково. Обратим внимание 
здесь на тот весьма интересный факт, что модальное преобразование 
для тензор-производных функции — как линейное, так и нелинейное, 
осуществляется по одним и тем же правилам. Попросту говоря, при 
линейном преобразовании базиса Е , = У - Ех его матрица У = А играет 
роль той же матрицы Якоби для отображения х(7.) = Ай! 

Пусть во втором варианте стационарности а?у/ 4Х'4Х($) также 
существует, как и 1-я условная тензор-производная. Тогда, согласно (57), 
имеем: 
4х 


На 
к Зиаи 


ау 
ди’4и 





Если данная 2-я тензор-производная ненулевая, то по характеру её 
знакоопределённости идентифицируется либо тот или иной особый 
экстремум, либо особая седловина (2-й ступени и 2-го уровня) 
с применением правил Эйлера (49)—(51) и критерия Сильвестра. 
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Наконец, в третьем варианте стационарности итоговая матрица 
Гессе выражается самой общей формулой (57). Если данная 2-я тензор- 
производная ненулевая, то по характеру её знакоопределённости 
идентифицируется либо условный экстремум, либо условная седловина 
(2-го уровня) с применением правил Эйлера (49)—(51) и критерия 
Сильвестра. Здесь представляет отдельный интерес также субвариант 
варианта 3, когда ЧХ / ди = А = Соп${ размера пх4 и ранга 4. Тогда, 
во-первых, в точке истинной условной стационарности 5 функции 





на Ч-плоскости (Х) имеем ву ($) = Чу ($). А=0 <> Е О) Е (КегА’) 
Чи ах ах 


2 
и, во-вторых, в силу того что матрица 4“Х/9и'4м нулевая, имеем 


2 2 
4“у А’. а 
ди’ 





У (9)-А. 
48'ах Ре 

Полная адекватность природы стационарности 2-го порядка функций 
у = У(Х) на Ч-поверхности Х = х(и) во иу= Ки) в < имеет место 
тогда, когда тензор-производные АХ / Чи и ах / аи’ ди повсюду ранга 
и существуют (полнозначимые), т. е. при гладком и регулярном ранга 4 
изоморфном отображении из < в «#1, по крайней мере, порядка 2. 
Этот случай наиболее интересен в теоретическом и практическом плане. 
Если здесь 4 < п, то тогда имеем условную стационарность У(Х) на 
(Х) < сё" и стационарность Киа) в <Я в эквивалентных точках $ и $. 
При этом дифференциалы @Х и ди в (59) суть изоморфизмы: 





пе (59) 
ди ах 

аи (а (ау Га «| (а 

и ео 

4х Чи т, Чи ди) ди Чи /° 


Именно в этом случае (1 < гапз(@Х / Чи) = 4) однозначно определяется 
и вычисляется функциональная матрица Якоби для квазиобратного 
отображения 4и/ АХ как единственная левая обратная матрица 
(4х / ди), или также как тождественная ей квазиобратная матрица 
Мура — Пенроуза (4& / Чи)", единственная тут правая квазиобратная 
матрица вообще [27, с. 52]. Причём прямая и обратная матрицы Якоби 
связаны здесь совершенно естественным образом и через единичную 
Чх9-матрицу, и через симметричный пхп-проектор. 
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Имеем соответствующие формулы перемножения матриц: 








<— 
ди. 9 а Е 
га 2 ша ма (61, 62) 


В формуле (62) фигурирует симметричный характеристический 
проектор [27, с. 50], осуществляющий аффинное проецирование в © 
на (ип Чх/ да) параллельно «Кег АХ / Чи), , т. е. на образ матрицы 
Якоби параллельно еб ядру (слева). Этот симметричный проектор 
вычисляется теоретически однозначно через сингулярную пхп-матрицу 
внешней гомомультипликации матрицы Якоби в формуле (62). С его 
использованием геометрически наглядным образом определяются все 
условные дифференциальные характеристики 1-го порядка, а также 
формулируется иллюстративное проективное уравнение для условной 
стационарности в задачах на условный экстремум данного типа. 

Линеаризация размерности 4 для дх1-вектор-функции отображения 
х = х(и) в точке © е (Х) определяется здесь её линейной частью, а 
геометрически — касательной -плоскостью {/) к д-поверхности (Х): 





и 
Ки) =& +4 == © (и-© > (дев (ш — ) (63) 


Лемма 1 (олинеаризации). Линеаризация размерности а для Чх1-вектор- 
функции Х = х(и) имеет место в точке © е (Х) тогда и только тогда, когда 
пха-матрица Якоби АХ / Чи в эквивалентной ей точке © существует и на 
некоторой её окрестности имеет постоянный ранг 4 > 1, т. е. состоит 
из 4 линейно независимых векторов-столбцов, или (Кег 4х / 4и)= 0. 
(Доказательство этой леммы вполне тривиально.) 

Условный 1-й дифференциал переменной АХ = 4] в соответствии с 
(52) и (63) определяется как: 





<— 
| (64) 
ди ди \ ди 


Условный 1-й дифференциал целевой функции У(Х) определяется и 
обозначается как: 





м. и. “к % (=) т (65) 
в 
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Условный градиент целевой функции У(Х) определяется здесь и 
обозначается как: 


<— 


4%] ужа &(&) 
4х | ая ах а | ди (аи) |. (65) 


Условный градиент геометрически трактуется как аффинная в © 





проекция градиента на (пп ЧХ / Чи) (т. е. касательную 4-плоскость (1) 
к 4-поверхности (Х)) параллельно <Кег АХ / дм». . 

Отсюда вытекает формулируемая ниже проективная теорема об 

условной стационарности для задачи на условный экстремум данного 
типа, или условный аналог теоремы Эйлера — Ферма (43). 
Теорема 1 (проективная). Для того чтобы в точке $ е (Х) имела 
место условная стационарность целевой функции У(Х), необходимо 
и достаточно, чтобы её условный градиент в данной точке равнялся 
нулю, а сам градиент в ней был ненулевым: 


Е ЧУ 9.) &.\ (4. 
Г4У$ =$|=0 <> Е. ® 0 <> Е ® (= тт ©) Е 90) 


Срединное выражение выше есть проективный вариант уравнения 
условной стационарности. Правое выражение даёт геометрическую 
интерпретация формулы (55) для точки условной стационарности. 

А именно, в точке условной стационарности обнуление 1-го 
дифференциала целевой функции происходит в силу того, что 
ненулевой градиент в ней коллинеарен некоему левому сингулярному 











собственному вектору матрицы Якоби АХ / ди, т. е. условный градиент 
находится в линейном подпространстве ядра матрицы Якоби (слева). 
Поэтому и вышеуказанная аффинная проекция градиента на еб образ 
параллельно её ядру (слева) по величине нулевая. (В евклидовом 
метрическом пространстве <" с декартовыми координатами этот факт 
геометрическим образом интерпретируется как ортогональность 
градиента касательной 4-плоскости в точке $, или всем векторам- 
столбцам матрицы Якоби.) Понятно, что в полной мере условный аналог 
теоремы Эйлера — Ферма (43) здесь не имеет места, так как нужно 
ещё убедиться в том, что найденная точка $ (где условный градиент 
целевой функции нулевой) принадлежит именно 4-поверхности (Х). 
Это требование выполняется, если существует обратное отображение 


$ —> $, т. е. отображение точки стационарности из о в < 9. 
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Далее обратимся к условным дифференциальным характеристикам 
2-го порядка. Если 1< гапе {4х / ди} =4, то по-прежнему ди и ах 
изоморфны. Более того, каждому ди однозначно отвечают АХ и 42% от 
функции отображениях=х(и), заданной нас 9, акаждому ЧХоднозначно 
отвечают и и 4?и от обратной функции отображения и = и(Х), заданной 
на (х). Покажем, что при таком подходе Фи и 9?Х также изоморфны (1. е. 
как это было ранее для скалярных переменных Ч ихв $ 1.6). Имеем: 











›_ \ 4+2) › \@$2) 
а? = ди’ Е &, 
Чи’аи ах’ах (67) 
(12) 
42 аи |[(4и) | 42 Чи 
4х =. > . , "аз |? (68) 
ах’ах [64 ах ди’ [614 
т а (69) 
ди ах 


Здесь и дальше знак сверху «'(1<>2)» обозначает транспонирование 
трёхмерной матрицы по типу (1+>2), т. е. с перестановкой элементов 
с 1-мии 2-ми одинаковыми индексами; причём а / АХ вычисляется 
по формуле (60). Тут имеется мнемоническая аналогия со скалярной 
формулой (31). При этом заметим, что, если бы связи между 1-ми 
дифференциалами переменных ц и Х не было, то тогда 4?и был бы 
нулевым! В свою очередь, условный дифференциал целевой функции 
2-го порядка в точке $ определяется с учётом (56) как: 





2 
|425& а о = а С у а+ 9 в)а24 ы 
ах ах 
(12) 
_/| а2у ау _ — аи || 
а И — 
к®+а — (5) Е "6 Е а; ® 4х. (70) 
1хп пхп 1хи пха ахиха хп пх1 


Вспомогательные размеры объектов, выделенные жирным шрифтом, 
здесь и дальше указывают направление перемножения тензор-объекта 
с трёхмерной матрицей, т. е. по каким индексам происходит свёртка 
тензорных производных при их перемножении. Свёртка происходит 
ввиду того, что п элементов вектора градиента поэтапно умножаются 
на п симметричных 4х4-сечений трёхмерной матрицы, а затем всё это 
суммируется в двумерную симметричную 4х4 -матрицу в скобках. 
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Условная матрица Гессе функции У (от зависимой переменной Х) 
в точке $ формально вычисляется, с учётом (57), (64) и (70), как: 




















р <— 
э > > | 2 
Чу д |_| 4. [ ах а“у 
= 8) ди 8) Е <} | ый т 
= ь <— 
а И а (а _\ 
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Дополнительную нижеуказанную формулу (72) для той же самой условной 
матрицы Гессе, выраженной в точке условной стационарности $, получаем 
с использованием соотношений (60) и (68), а именно через обратную функцию 
отображения и = ч(Х), задаваемую на множестве (Х), с целью сравнения 
результатов с таковыми из $$ 1.5, 1.6 и 2.2: 











— -- 
2 | 2 ы 222 
4^у (*) ди || Чу |4 (®) 4^и | (=). ди 
ах’4х &) «|| &% |& («Л 4'а @&) @& 
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Здесь 4 элементов специального вектора в квадратных скобках поэтапно 
умножаются на 4 симметричных пхп-сечений трёхмерной матрицы, а затем 
всё это суммируется в двумерную симметричную пхп-матрицу в фигурных 
скобках. Этот вектор имеет размерность функции и, как и вектор множителей 
Лагранжа, если бы множество (Х) задавалась через а(х) ограничительным 
способом — см. 82.2. Тут также имеет место мнемоническая аналогия со 
скалярными формулами (26) и (27) из $ 1.5, (29) и (30) из $ 1.6. 

В весьма важном частном случае Ах / ди =А = Сопз{ того же 
размера пха и того же ранга 4 < п. Тогда имеем: 

9 $ % 95 А 
Чи ах 9и ах 


0 > Х=5, 5=1(5); 

















у | у ‚ 92у 
7. (3 “о. У 6-е А. 


Теоретически условный градиент и условная матрица Гессе в точке $ на 
плоской 9-поверхности (Х) выражаются простыми формулами: 


95-9 УМ, | ААУ @-АА, 








Чх’Ах 
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Разумеется, изложенный проективный подход к анализу задачи на 
условный экстремум этого типа имеет чисто иллюстративное значение. 
Однако именно проективный подход позволяет связать воедино все три 
рассматриваемых в монографии аналитических метода постановки и 
решения задачи на условный экстремум. 

Полное аналитическое решение задачи этого типа осуществимо на 
практике изложенным двухступенчатым дифференциальным методом. 
В общем виде решение задачи заключается в нахождении условного 
экстремума целевой функции на некотором нелинейном или линейном 
образе (Хх) преобразования х = х(и). В задачах на экстремум данного 
типа сложность их анализа и решения увеличивается именно с ростом 
размерности 4 векторного параметра и. Наиболее просто они решаются 
при 4 = 1, т. е. как задачи на условный экстремум целевой функции 
на некоторой траектории или прямой, вложенной в ©. Приа=1 
тензор-производные АХ /4м и ах / ди’аи попросту вырождаются 
в вектор-производные АХ /4и и 42 / ди2. Причём, согласно (55), в <” 
векторы (у / АХ)! и АХ / и в точке стационарности ортогональны! 

Покажем инвариантность вышеизложенных процедур решения 
задач на условный экстремум данного типа по отношению к линейным 
модальным преобразованиям базисов в с и в < 4. 

Для двухступенчатого метода установим инвариантность формул 


(55) и (57) к преобразованиям Е, =\, Ех и Ё, = \> Е: : 
9 49 9 9 











19) х У ‚7 > _ — 1 1 =— й 
4(\7) аи 47 Чи 49 аи 
2 27 2 ы ды 
“у 9(\12.) “у ‚ 912) ‚ ЧУ а (\12) 
ди’ ди 4(\12)4(\ 7) ди а(\2) ди’аи 








47'47 47 ди’Чи 
(=). у @ 4 4%. 
ди) 474й ди ай аи’аи’ 


=) , Е" 2 2; 
-(=) У "У Ч у миа У! М ей = 
и 





Чу _ 92 ЧУ 92, -1 0 ду 92 
4 а9(\У2) 4 & 





2) и=\2.& - 


у Ц у 5% Ч?у у 
ди’4и  9(У20'9(\У>0 аа 





80 Глава 2. Аналитическая условная оптимизация 


Итак, в пространстве с? вообще нет никакого влияния от линейного 
преобразования переменной (так как итоговые производные берутся по 


переменной и). В <Я влияние имеется только на матрицу Гессе. Но 
её конгруэнтное преобразование при этом никак не изменяет характер 
знакоопределённости матрицы, а, следовательно, и стационарности. 

Для доказательства аналогичной инвариантности в проективной версии 
анализа задачи проектор применяется в форме (62) с учётом (61): 


<— 


 (& @ а “ (=) 1 
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Далее из (64), (65) и (71) имеем: 
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Матрица У | аннигилирует тут, как показано выше (только в сложных случаях) 


жирными индексами снизу и сверху, а матрица У, аннигилирует тут совершенно 
естественным образом (поэтому здесь не показывается). 


$ 2.1. Условные экстремумы функций зависимой переменной Х Е с: х=х(и) 81 


Матрица Гессе вычисляется как в (71): 


— <— 
й 2 м 2 , 2 '(1<>2) _ ‚И 
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пхп пхп пхп 1х пха ахпха ахп пхп 


= 





Доказательство инвариантности этих процедур к наиболее общим— 
нелинейным модальным преобразованиям Х и и осуществляется также, 
но формально приводит к анализу стационарности трёхступенчатой 
сложной функции. Степени гладкости и регулярности нелинейных 
модальных преобразований должны отвечать тут уровню условной 
стационарности или экстремума (выше это р = 2). 


жжх 


Пример. Проанализируем с точки зрения условной оптимизации 
скалярную функцию 2-го порядка от линейно зависимой переменной 


а=а(<®) =1/2.х. 9+5, .х+9 (940 *0), 
х=х(и) = Аи=с+А(и-—с), где с=Ас, гапеА =ад< п. 
Без тривиальной подстановки х —> Аи последовательно находим для 


9) градиент по и и условный градиент по Х, матрицу Гессе по ии 
условную матрицу Гессе по Я. (Здесь очевидно А’2,' е (ип А’ОСА).) 
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Поскольку (46 С =0), то в точке $ имеем (уровня р = 2): 

— условный минимум, если С или | @ | положительно определённная; 
— условный максимум, если С или [С | отрицательно определённая; 
— условную стационарную седловину, если [ С | знаконеопределённая. 


_ се № - 
9(5) =а[х($) |=-1/2-50 .АА-С `.АА’50' + 90. 


(Сравните результат с таковым в примере 1 из $ 1.9.) 

В следующем параграфе рассматривается постановка и решение 
задачи на условную стационарность целевой функции от ограниченной 
переменной, т. е. именно по Лагранжу, но с проективным подходом. 


8 2.2. Условные экстремумы уровня р =2 
для функций от ограниченной переменной типа 
ХЕ": В(Х) = 0, (Хх) е <", т < п 


В данном параграфе пх1-вектор Х рассматривается иначе — как 
ограниченная переменная, подчиняющаяся уравнению связи Н(Х) = 0, 
В (хе (Х)) = 0. Здесь В = В(х) Е с есть тх1-вектор, т < п. Вектор- 
функция В(х) принимает в <" нулевое значение на некоем множестве 
(Х) < с". Суть задачи состоит в поиске экстремума эволюционной 
целевой функции на гладком и регулярном вложенном многообразии 
(Х) с <#1, заданном ограничительным способом. 

Пусть у = У(х) и В = В(х) — скалярная и векторная функции, 
однозначно определённые и, по крайней мере, дважды непрерывно 
дифференцируемые на некотором компактном подмножестве в ©, 
например, п-мерной закрытой области ©/" < о". (Причём (Хх) < ©/".) 
Особенно подчеркнём здесь то, что при дифференцировании по Х 
последняя понимается обычным образом — как свободная переменная х, 
изменяющаяся от своего точечного значения, но на (Х), во всевозможных 
направлениях в координатном пространстве <"! Соответственно 4х и 
ЧХ — свободный и условный дифференциалы векторной переменной. 
Дополнительно примем, что на закрытой области ©" выполняется 
требование: гапс {В / 4%} =т <, где АВ/АХ есть тхп-матрица 
Якоби, или 1-я тензор-производная функции П(х) по Х в окрестности 
Ч-поверхности (Х), где а=п- т. 
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Такое, по сути, обратное функциональное отображение ранга т 
обеспечивает задание вложенной в <" некоторой геометрической 
поверхности размерности 4 = п — 1 ограничительным способом. 
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Дифференцируемость В(Х) К раз обеспечивает функции обратного 
отображения и поверхности гладкость порядка К; конечность её тензор- 
производных до порядка К обеспечивает им же регулярность порядка К. 

При указанных допущениях уравнение связи В(Х) = 0 задаёт в ©" 
на ©/" с с некоторую гладкую регулярную порядка не менее двух 
Ч-мерную поверхность (Х), где 4 = п — т. Взяв только линейную часть 
разложения вектор-функции В(х) по формуле Тейлора в окрестности 
точки С Е (Х), получаем уравнение для касательной а-плоскости: 





в Ч. и — Ч - 
д --- © &--@®.( в=0 > (не (вы Ее <) (73) 


Линеаризация размерности 4 = п — т для уравнения В(Х) = 0 в точке 
СЕ (Хх) определяется здесь линейной частью (Х), а геометрически — 
касательной а-плоскостью (/) к 9-поверхности (Х). 
Лемма 2 (о линеаризации). Линеаризация размерности 4 = п — т для 
уравнения В(Х) = 0, где В(х) — шх!-вектор-функция, имеет место 
в точке © е (Хх) тогда и только тогда, когда пхт-матрица Якоби ЧВ/Ах 
в ней существует и на некоторой её окрестности имеет постоянный ранг 
Ш < п, т е. состоит из Ш линейно независимых векторов-строк, или 
(Кег АВ / 4). = 0. (Доказательство этой леммы вполне тривиально.) 

Далее из (73) на касательной 4-плоскости (/) к 4-поверхности (Х) 
вкакой-либоточкее е (Х) находится 1-йусловный дифференциал АХ = 4 
как аффинная проекция свободного дифференциала СХ в точке © на ядро 
матрицы Якоби (т. е. на (/)) параллельно её образу (справа): 

-> 
ав) ав 
и 4 


аа 0 <> 4 
ах 











ах. (74) 
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Обратим внимание на то, что в формуле фигурирует симметричный 
характеристический проектор иного типа [27, с. 50], нежели проектор 
из $ 2.1. Фактически они оба геометрически тождественны! Данный 


проектор осуществляет аффинное проецирование в ©" на ( Кег АВ / 4х) 
параллельно (пп В / 4). Этот симметричный проектор вычисляется 
теоретически однозначно через сингулярную пхп-матрицу внешней 
гомомультипликации матрицы Якоби в (74). С его использованием на 
касательной а-плоскости (/) в точке 6 также геометрически наглядным 
образом (проективно) определяются все условные дифференциальные 
характеристики 1-го порядка и формулируется уравнение для условной 
стационарности в задачах данного типа. 

Аналогично (65) и (66) определяются условный 1-й дифференциал 
и условный градиент целевой функции У(Х) — её дифференциальные 
характеристики 1-го порядка: 
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Условный градиент геометрически трактуется и вычисляется здесь как 


аффиннаяво" проекция градиента на(Кег В / ах) (т.е. накасательную 
Ч-плоскость (/) к 9-поверхности (Х)) параллельно (пав / 4%) Он 
тождествен условному градиенту (66) из $ 2.1. 

Отсюда вытекает формулируемая ниже проективная теорема об 
условной стационарности для задачи на условный экстремум данного 
типа, или условный аналог теоремы Эйлера — Ферма (43), как ив $ 2.1. 
Теорема 2 (проективная). Для того чтобы в точке $ Е (Х) имела 
место условная стационарность целевой функции У(Х), необходимо 
и достаточно, чтобы её условный градиент в данной точке равнялся 
нулю, а сам градиент в ней был ненулевым: 


— 


9] &. |) а. | а [9 
[1-9 [в че В =0,; <> х=5 [29] (77) 


в =0: 
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Они же суть необходимые требования для реализации в $ Е (Х) 
условного экстремума целевой функции У(Х). Это есть условный аналог 
леммы Эйлера — Ферма (43). 

Отдельный весьма важный частный случай отвечает постоянной 
тпхп-матрице Якоби, а именно прямоугольной матрице А размера 
пхп и ранга т < п. Например, этот случай реализуется на вложенной 
Ч-плоскости (Х) : Ах-а= 0,гдеа Е (1тА). Тогда АВ / 4х = А = Соп%есть 
матрица размера тхп и ранга т < п. Причём имеем соответствующую 
упрощённую формулу для условного градиента, а также первое в (77) 
требование для условной стационарности: 
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4. -о (#9 сбвл) = бе 
79-9 А’А =0 <> о =(шА’) <> к е(итА), . 








При условной стационарности функции (4у/ 4х (5) = 0) внешняя 
гомомультипликация матрицы Якоби (используемая в проекторе) есть 
обязательно сингулярная пхп-матрица — либо по причине того, что 
т < п; либо по причине того, что т строк матрицы Якоби линейно 
зависимы между собой; либо по обеим причинам, вместе взятым. При 
этом именно в точке условной стационарности $ Е (Х) обнуление 1-го 
дифференциала целевой функции происходит от того, что ненулевой 
градиент в ней всегда коллинеарен некоему правому несингулярному 
собственному вектору матрицы Якоби АВ/АХ. Поэтому и вышеуказанная 
аффинная проекция градиента на её ядро параллельно её образу 
(справа) по своей величине здесь обязательно нулевая. (В евклидовом 
метрическом пространстве <" с декартовыми координатами этот же 
факт интерпретируется геометрическим образом как ортогональность 
градиента касательной 4-плоскости, т. е. аналогично тому, что имело 
место в предыдущем параграфе.) 

Для обоих типов характеристических симметричных проекторов, 
производимых матрицей Якоби, имеют место формулы взаимосвязи: 
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Здесь первый проектор проецирует на ядро параллельно образу 
(справа), а второй проектор проецирует на образ (справа) параллельно 
ядру. Причём образ (справа) и ядро матрицы Якоби всегда составляют 
прямую аффинную сумму в с" (ортогональную в <>”). В силу этого 
данные две аффинные проекции для неё всегда существуют! Заметим, 
что в предыдущем параграфе для проекторов обоих типов выполнялись 
аналогичные (78) соотношения в силу того, что образ и ядро (слева) 
матрицы Якоби для функции прямого отображения х(Ш) также всегда 
образуют прямую аффинную сумму в ©" (ортогональную в <”). 

В рассматриваемом случае (1 < гапз {ЗВ / 4} = т < п) проектор на 
образ матрицы Якоби (справа) параллельно её ядру выражается весьма 
просто черезединственную правую обратную матрицу(4В / 4) ‚или 
тождественную квазиобратную матрицу Мура — Пенроуза (98 / 4%), 
единственную тутлевую квазиобратную матрицу вообще [27, с. 53]: 
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С учётом формул (78)—(81), уравнение для условного градиента в 
системе (77) преобразуется следующим образом — именно для точки 8: 


<— 
95 |_Уз_З а. [98| | _ 
25-9 к 9 Е к 


97 (5)_| <). 6 = 
О Е °) ®) 





(У-^-в) 


в) -“ 5 - 
-_®=^ == — 050, (82) 


где 
бы 
Л = Е ($) [я О (83) 


есть явный 1хт-вектор множителей Лагранжа, т.е. ^,= (№... Л„). 
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В свою очередь, этот вектор-строка (как и градиент!) является при 
гапэ 48 / 4х = т единственным решением линейного уравнения: 


Ч 9Ч_ 
а 
ко -®* 


Обратим внимание здесь на то, что левая квазиобратная матрица и 
она также правая обратная матрица для матрицы Якоби, в силу своей 
единственности, не требует ввода метрики в <". Все производимые 
новые аффинные характеристики при этом определяются однозначно. 
Оставаясь в аффинном пространстве, приходим к фундаментальному 
следствию и к классическому методу множителей Лагранжа [60]. 

А именно: преобразование (82) сводит решение задачи на условную 
стационарность функции У(Х), согласно системе (77), к решению 
задачи на безусловную стационарность функции Лагранжа (84) от 2-х 
независимых друг от друга векторных переменных (метод Лагранжа) 


д = 2, = У -^- В, (84) 


причём с увеличением размерности координатного пространства и 
задачи с п до (п + 11). Из условия стационарности функции Д(х, /) 
на суммарном аффинном координатном пространстве ©" получаем 
витоге классическую теорему Лагранжа о необходимых и достаточных 
требованиях для условной стационарности У(Х) в точке 5: 








ол) р О А =0, 
г х + 5-8 [496]. -- 
90(%,^) _ в(Х=0;: “ 
ОА. | 


В точке условной стационарности целевой функции с точностью 
до 1-го полного дифференциала функции Лагранжа тогда имеем: 
Д=0(,^) =у(®-^-в() = сопз или 4Д(х, А) = 0. 

В части вычисления условной стационарности в задачах данного 
типа метод Лагранжа, как видим, полностью тождествен по результату 
вышеизложенному проективному методу, основанному на вполне 
наглядных и естественных геометрических соображениях. В свою 
очередь, проективный метод через преобразование (82) здесь же вполне 
естественным путём приводит к классическому методу Лагранжа. 

Более того, докажем полную тождественность обоих методов при 
идентификации характера условной стационарности (в том числе и 
условного экстремума) целевой функции в точке $ — решении как 
системы (77), так и системы (85). 
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С целью вычисления условных дифференциальных характеристик 
2-го порядка (как квадратичных проекций накасательную -поверхность 
2-го порядка (9) к д-поверхности (Х) в точке $) разложим функции У(Х) 
и В(Х) совместно в окрестности точки $ по формулам Тейлора, учтя 
только слагаемые 2-го порядка: 








2 
' у - О -ах ЧУ (бая+ У в)а2я, 
Чх’аХ ах 
1х1 1хп пхп пх1 1хп пх1 
2) (86) 
4-9) | | (5) Иа 
ТГ | аха 4х 
1хт 1хп пхшхп пх| шхи 1х1 


> . ый 2 а. 
где 92Х — условный 2-й дифференциал х, 9”В / Чх'4Х — 2-я тензор- 
производная функции В(Х). 

Последняя в своей исходной форме представляет собой трёхмерную 
пхихп-матрицу, состоящую именно из вторых частных производных 
2. 
07в; 
%к5Х; 


типа плоских сечений: 


(1=Ьт; ЬК=Ьп). Как трёхмерная матрица она имеет три 
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(Последние из них обязательно симметричные.) 

По сути, это означает возможность существования трёх форм 
трёхмерной матрицы: одной исходной и двух транспонированных. Из-за 
перестановочности частных скалярных дифференциалов ОХ уи Ок 
первые две формы матрицы идентичны друг другу с точностью до 
двумерного транспонирования, в том числе по своим сечениям при ]=К. 
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Следовательно, для вычисления, например, первого слагаемого во 
2-м уравнении в системе (86) дифференциалы аргумента слева и справа 
умножаются именно на горизонтальные пхп-сечения при 1 от 1 до т, 
производя при этом вектор 42, ит. д. 

Далее из системы (86) исключаем общее неизвестное 42Х, выражая 
его из 2-го уравнения и подставляя в 1-е уравнение. Здесь следует 
учесть, что, согласно (77) и (78), аффинная проекция градиента целевой 
функции в точке $ на образ матрицы Якоби (справа) параллельно её ядру 
тождественна самому этому градиенту. Тогда дополнительно, с учётом 
формулы (80), имеем: 


<— 


4%. (4. а. | 4. (№. 7“ 
ко ® Е ®) х® Е ®) 





ав 
в 4 ®). (87) 


Подставив это выражение вместо градиента в 1-е уравнение в (86) 
и сделав сюда же подстановку второго слагаемого из 2-го уравнения 
в (86), предварительно умноженного слева на правую обратную 
матрицу, в итоге получаем нижеуказанную формулу (88) для условного 
2-го дифференциала целевой функции, отсчитываемого от её значения 
в точке 5: 











ё а в _\ в” 
р ре У - Усы ы ы в 
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Здесь т элементов специального 1хт-вектора в квадратных скобках 
поэтапно умножаются на Ш симметричных пхп-сечений трёхмерной 
матрицы, а затем всё это суммируется в двумерную симметричную пхп- 
матрицу в фигурных скобках. Причём этот вектор имеет размерность 
функции В и, по сути, образован скалярными множителями Лагранжа. 
В итоге выражение (88) в целом представляет тут собой вырожденную 
квадратичную форму, ввиду хотя бы вырождённости дифференциала ЧХ. 
Порядок перемножения сомножителей имеет вполне естественный вид. 
Далее отсюда, с учётом формулы (74), выражаем искомую сингулярную 
условную матрицу Гессе в точке 8: 
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Обратим внимание на то, что в мнемонически близких формулах 
(71), (72) и (89) в 2-х различных по постановке и решению типах задач 
на условный экстремум реализуется эта общая схема перемножения 
с трёхмерной матрицей. Такая мнемоническая аналогия отображает 
некую функциональную взаимосвязь 2-х проективных методов анализа 
и решения данных задач. Причём размерности специальных векторов 
в (72) и (89) в сумме составляют п. Кроме того, формулы (88) и (89) 
мнемонически аналогичны скалярным прототипам (29) и (30) из $ 1.6. 

В простейшем частном случае — на -плоскости матрица Якоби 
размера тхи постоянная и имеет ранг т < п: В / ах = А = Соп$. При 
этом условная матрица Гессе выражается весьма простой формулой: 





Чх’Ах ах’ах 


Причём, если в таком случае безусловная матрица Гессе а?у/ 4х’ах 
знакоопределённая (положительно или отрицательно), то она сама 
по себе определяет характер условного экстремума в точке $. Это 
объясняется тем, что выпуклая или вогнутая на пространстве ©" 
целевая функция У(х) остаётся в том же качестве и на Ч-плоскости (Х). 
Выраженные (88) и (89) в $ условные на касательной -поверхности 
в ней 2-го порядка (9) 2-й дифференциал и матрица Гессе для исходной 
функции У(Х) тождественны условным на касательной Я-плоскости 
в ней (/) частным 2-му дифференциалу и матрице Гессе для Д(х, Л)! 
Действительно, выражение в квадратных скобках в (88) и (89) в точке $ 
в точности, согласно (83), идентично множителю Лагранжа — некоей 
векторной константе при заданных первоначальных предположениях. 
Как константу множитель Лагранжа вводим под знак дифференциала 
в качестве векторного множителя для трёхмерной матрицы, что 
делает их произведение в скобках двумерной матрицей. В итоге имеем 
идентичность и 2-ых дифференциалов, и 2-ых тензор-производных: 


$ 2.2. Условные экстремумы функций зависимой переменной Х Е с": В(Х) =0 91 


2 |_ че 925) = _| 8-80) _ || 
|з у(х 9 ах т (5) =. (5) |+ ах 





_ о [у-^-в] 52 
х 


_ вона А ааа 20 аа 
а = (5)4х = 9х 0 Ё 26-Й (90) 











> = 
42 | (в \ в |022 (ав | 
ах) [21°] о ‘окох © [= х® 
920. 


= ($) 
дх'дх ы (д 910 





Формулы отражают естественную взаимосвязь метода множителей 
Лагранжа и метода условных тензор-производных (т. е. проективной 
версии) в решении задач данного типа на 2-м этапе. Итак, во-первых, 
условная стационарность У(Х) и стационарность Д(х, А) в части Х 
реализуются всегда в одной и той же точке $ (или множестве точек (5)); 
во-вторых, матрица Гессе функций у(Х) и С(х, №) по Х, хотя вообще и 
различны, но зато совпадают именно вточке условной стационарности $! 
Это, по сути, является теоретической основой классического метода 
множителей Лагранжа для решения задач на условный экстремум 
данного типа, по крайней мере, с его уровнем р = 2. 

Условная матрица Гессе в точке $ по обоим вариантам задачи (71) 
и (89), (91) имеет не менее, чем т нулевых собственных значений. При 
этом условная стационарность обязательно строгая, если их количество 
в точности равно параметру т. Тогда все эти т нулевых собственных 
значений попросту не принимаются здесь во внимание. Остающееся 
количество 4 = п — т условных собственных значений матрицы Гессе 
в точке $ теоретически обычным образом определяют (как и в $ 1.9) 
характер условной стационарности целевой функции У(Х). 

Если симметричная матрица Гессе для функции Лагранжа в (91) 
знакоопределённая, то она полностью задаёт характер именно строгого 
условного экстремума. Объясняется этот факт тем, что чисто выпуклая 


или чисто вогнутая скалярная функция У(х), заданная на <, остаётся 
таковой и в пределах 4-плоскости (/) < со. Ввиду особой важности 
этой внутренней части условной матрицы Гессе в целом, далее она будет 
называться иолуусловной матрицей Гессе. В явном виде она выражается 
тождественным образом в фигурных скобках в (71), (72) ив (89)! 
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Разумеется, и тут также (как ранее в $5 1.9, 2.1) возникает проблема 
упрощения процедуры оценки знаков условных собственных значений. 
В важном случае симметричная несингулярная полуусловная матрица 
Гессе $ в точке 5 знаконеопределённая (Че $ = 0, гапё [9 |=а=п- т), 
что тоже имеет место при строгой условной стационарности функции. 
Необходимо выяснить характер её знакоопределённости. Для этого 
условную матрицу Гессе приводим неким ортогональным модальным 


преобразованием К (Е ЕВ. Ех ) к нуль-клеточной форме: 


> > 
В'.| А’А.$. А’А|.В = 





где Чеё 5 = 0, 4её 5 ва* 8 7, — нулевые матрицы соответствующих 
размеров. Например, такое модальное преобразование В вычисляется по 
способу, изложенному в монографии [27, с. 49]. При этом используется 
следующее свойство характеристических симметричных проекторов: 


> > < > > > 
А’А -5-А’А |=А’А, | А’А.$3.А’А |=А’А ‚, где де $ = 0. 





— > 
А именно, проекторы А'А и А’А рангов т и 4 обязательно содержат 
базисные диагональные тхт- и ах4-миноры. Последние задают две 
базисные тхп- и 4хп-субматрицы базисных столбцов. Объединяя их 
сначала в пхп аффинную модальную матрицу У, а затем ортогонализуя 
еб, например, по Граму — Шмидту, получаем искомую модальную 
ортогональную матрицу К. Далее к полученной по вышеуказанной 


схеме несингулярной угловой симметричной матрице 5, применяют 


х 
критерий Сильвестра, как это было описано ранее в $ 19. й 

Аналитическое решение задач данного типа в самом общем случае 
осуществляется по вышеизложенному методу множителей Лагранжа, 
а при линейном характере ограничения и более простым способом — 
методом условных тензор-производных. В общем виде решение задачи 
заключается в нахождении условного экстремума целевой функции на 
некотором нелинейном или линейном ядре (Х) преобразования В = В(Х). 
В задачах на экстремум данного типа сложность их анализа и решения 


увеличивается именно с ростом размерности т векторного параметра В. 


$ 2.2. Условные экстремумы функций зависимой переменной Х Е <": В(х) =0 93 


Наиболее просто они решаются при т = 1, т. е. как задачи на условный 
экстремум целевой функции на некоторой гиперповерхности или 
гиперплоскости, вложенной в <. (Сравните всё это с аналогичными 
выводами в $ 2.1.) 

Следовательно, вышеизложенные в $$ 2.1 и 2.2 два принципиально 
различных подхода к постановке, анализу и решению задачи на условный 
экстремум на аффинном координатном пространстве ©" совершенно 
естественным образом дополняют друг друга, особенно при крайних 
значениях размерности (Х)! Они отвечают двум основным классическим 
способам аналитического задания неких -поверхностей (Х), вложенных 
в пространство <#— либо через векторный параметр размерности 4 < п, 
либо через систему уравнений связи размерности т =п-а< п [17, 23]. 

Покажем также инвариантность обеих изложенных выше процедур 
решения задачи на условный экстремум данного типа по отношению 
к линейным модальным преобразованиям базисов в СП и в <": 


При доказательстве этого утверждения характеристический проектор 
применяется, согласно формулам (78) и (81), в виде 
— 
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Далее последовательно имеем: 
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Для метода множителей Лагранжа имеем новое уравнение условной 
стационарности в векторной форме: 

а Ч 9 — Ч 

У о 1 


сы ы В. 
а) амо @ ' 42 | 








Затем ВЫВОДИМ НОВЫЙ вектор-множитель Лагранжа: 
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Для условной стационарности функции имеем инвариантную форму: 
фе ау фе 
--1. У). _ =—-.—. 
47 47 47 47 
Для условной матрицы Гессе от функции Лагранжа аналогично имеем 
инвариантную форму: 
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Доказательство той же общей инвариантности для метода условных 
тензор-производных (т. е. для проективной версии) отличается только 
тем, что множитель Лагранжа фигурирует в развёрнутой форме. 

Доказательство инвариантности обоих методов к наиболее общим— 
нелинейным модальным преобразованиям обеих переменных Х и № 
осуществляется аналогичным образом, но формально всёб это приводит 
к анализу условной стационарности исходной целевой функции, 
с учётом двухступенчатости сложной вектор-функции ограничения. 
Следует иметь в виду, что степени гладкости и регулярности обоих 
модальных преобразований при анализе такой задачи должны отвечать 
уровню условной стационарности или экстремума (выше это р = 2). 
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Пример. Проанализируем с точки зрения условной оптимизации 

скалярную функцию 2-го порядка от линейно ограниченной переменной 


а= 9(®) =1/2.х'0х+8,-х+90 (40 =0), 
А'Ах=А’а (гапз А=м), 0. 
Хх 


Поэтапно находим условные градиент и матрицу Гессе пох: 


ы 


> — > 
| = А’А. (Ся+2') = А'А-СЯ+А’А. во’, 


42а > > 
=А’А.С-А’А =Соп$. 
Чх’Ах 





Очевидно, что градиентное уравнение здесь всегда имеет решение и 
причём вырожденное. Из системы (77) далее следует: 


> > 
А’'А.Ц|:5$=|-А’А:5%\, 
А’'А А’а 
2пхи пх|! 2пх| 
> -- > 
$ = А’А.С -|--А’А- 50. 
А’'А 1 А’а 


Поскольку (41 С = 0), то в точке $ имеем (уровня р = 2): 

— условный минимум, если С или [ С | положительно определённная; 

— условный максимум, если С или | С | отрицательно определённая; 

— условную стационарную седловину, если [ С | знаконеопределённая. 
В точке условной стационарности целевая функция имеет значение: 

4($) =-1/2.5'.С 5+8) "5+ 40 . 


Это решение значительно упрощается (для линейного ограничения), 
если начало координат перенести на плоскость (Х) = (/). Тогда в новых 
координатах Ах = 0, (Х) = (КегА). Далее имеем: 

ие, 
$=-А’А.С `-А’А:20,, 
т. 
4(5) =-1/2-20-А’А-С `-А’А:50'+а0. 


(Сравните данный результат с результатом в примере из $ 2.1.) 
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8 2.3. Клеточный условный экстремум 


Пусть пах1-вектор-функция ограничения имеет блочную структуру: 


В = В(х) = (6,6... 14) = [6 (и), 6 (и>),... ба (иа)], 

где и, Ц., ..., и) — независимые вектор-аргументы размерности р, р», 
..„Ра>1 (р, +... + Ра = п), составляющие в прямой сумме х е ©"; 
Е, 6, ..., ® — независимые вектор-функции ограничения размерности 
Ч1› Ч» ---›Ча> 1 (а +... + Ча =т < п), составляющие в прямой сумме 
ВЕ с". В силу блочности структуры, решение задачи на условный 
экстремум целевой функции у = у(х) =У(и, и», ..., ил) с ограничением 
В(х) = 0 осуществляется тут поклеточно с понижением размерностей 
соответствующих векторных и матричных характеристик. 


Система (77) распадается на 4 отдельных клеток: 
— 


|. [Же |. Же У . 
29-2 [вы обе 0, | ААвряо)к-ва 


(к) =0; 


(Её можно представить также в клеточно-диагональной форме.) 











Множитель Лагранжа распадается на а частных подмножителей, 


те. ^= (А, ^,, ... №4), где 


ый 
2 О. _ 
Ак = СУ во ы: вы 
В. 


ах об, 








Общая функция Лагранжа имеет вид: 


а 
Я =Д(х,^.) = (а, й.,...@а)- У Ак к (@к) : 
К=1 


Система (85) также распадается на 4 отдельных клеток: 





К= 1,4. 
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Характер условной стационарности (экстремума) целевой функции 
в найденной из этой системы точке $ = (51,52 ....,За) задаёт, например, 
полуусловная матрица Гессе от функции Лагранжа размера пхп. 
В данном случае она представима в форме прямой (клеточной) суммы 
по  диагональным клеткам: 
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Если все указанные частные клетки отрицательно (положительно) 
знакоопределённые, то в точке 5 функция имеет условный максимум 
(минимум) 2-го уровня. Если клетки по разному знакоопределены, то 
в точке $ функция имеет условную седловину 2-го уровня. Если некие 
клетки знаконеопределены, то нужен анализ условной матрицы Гессе. 
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экстремум с малым или с большим параметром 


Пусть теперь в задаче на условный экстремум у(х) с ограниченной 
переменной Х ($ 2.2) вектор-функция В’(х) имеет природу градиента 
некоторой скалярной функции от х. Тогда В(х) имеет обязательно ту же 


самую размерность п, что и координатное пространство с": 











а (а) 
в'(х) = > = = 5(х). 92 
(х) Е = ® (х) (92) 
1хп 1хп пхп пхп пхп 


Обратим внимание на то, что здесь уравнение связи В(х) = 0 задаёт 
полное множество (Хх) нестрогой стационарности для некоей нецелевой 
скалярной функции Ф(х). Причём при гапо {В / 4х} =г=п-—4= с010$ 
оно задаёт его как 9-поверхность (Х). Тогда, если © © (Х), то исходное 
уравнение связи в векторной форме можно заменить на тождественное 
ему уравнение связи в скалярной форме: 
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х 
в) =0 <> ['бдах=0. (93) 


с 
1хп пх1 


(Такая тождественность вызывается именно тем, что 4х есть свободный 
дифференциал аргумента х.) Далее заменим в системе (85) векторное 
уравнение связи на тождественное ему это скалярное уравнение связи: 





х 
9| У(х) + М. [№'Сдах 
ВЕ _ < -6, (94) 
дх дх 
х 
| в'(х)ах = 0. 
с 





Поскольку новое уравнение связи задаёт скалярная функцией от Хх, 
то и новый множитель Лагранжа есть также скалярный параметр ^.= —М. 
Причём он бесконечный, так как из формулы (83) или непосредственно 


из (94) для нового множителя Лагранжа М следует формула: 


х 
а | '(х) ах 





м. м. -м.0- соо (95) 


Отсюда вытекает, что М = +! (См. об этом же в книге [27, с. 61], хотя 
автор пришёл к излагаемым общим предельным методам ещё в 1981 г.) 

С учётом (94), определим композиционные функции 2-х видов: 
Фу) =У<)+М-9(х), М то; (96) 
Фа (х) = Ф®) +9 -у(х), а > +0; (97) 
которые прямо пропорциональны друг другу, так как 
Фо(х)=&а.Фу(х) <> Фу ()=М.Фа(х). 

На основании вышесказанного пока можно только предположить, 
что тождественные градиентные уравнения вида 








аФу Чу 4аф ду 
=—+М.—=—+М.6'(х) = 0, 
9х 4х ах 4х ы 78 
9Фо 4 ау ау 
=—+а.—— ЕВ (ха. — =0 99 
ах ах ах © ах (95) 


дают в пределе то же решение, что и система (85) при специальном 


требовании (92), т. е. точку или область условной стационарности У(Х). 
Левая часть этих уравнений есть композиционный условный градиент. 
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В вычислительной математике такого вида композиционные функции 
порождают соответственно два общих предельных метода решения задачи 
на условный экстремум с ограниченной переменной, а также частные 
предельные методы решения специфических задач типа поиска строгого 
условного экстремума одной функции на области нестрогого экстремума 
другой функции. Дадим строгое теоретическое обоснование этих методов 
с идентификацией природы условной стационарности целевой функции. 

Рассмотрим предельное композиционное уравнение вида: 


Боди од+а- 9-0, а-0, (100) 
Хх 


где В(х) Е ©", гап {В / 4х} = г=п - 4 < п. Если решение этого 
уравнения © в пределе при © -> 0 существует, то оно обязательно 
принадлежит (Х), так как при © -> 0 уравнение (100) вырождается 
с точностью до бесконечно малой © в данное уравнение связи В(х) = 0, 
в том числе В(6) = 0. Обратим внимание на то, что уравнение связи 
опять предполагается разрешимым в виде -поверхности (Х). Покажем, 
что при выполнении некоего определённого требования к функции В(х) 
уравнение (100) имеет решение, тождественное решению системы (77) 
при т = пи гапр {ЧВ / 4х} =Г=п- 4, т. е. тождественное именно 
решению задачи на условную стационарность целевой функции У(Х) 
с уравнением связи В(х) = 0. 

Теорема 3 (предельная). Пусть$е<#Й—точкаусловной стационарности 
функции У(х) на Ч-поверхности (Х), заданной уравнением В(х) = 0, 
т.е. 5есть решение системы (77) при т = п и гапз {Ч Г. 4х} =Г=п- 4. 
Точка $ является решением предельного уравнения (100) при © —> 0 
тогда и только тогда, когда 


' 


бесы а 
[а Е каг бука 91 | (101) 


(Разумеется, предполагается, что матрица Якоби для В(х) такова, что 
вышеуказанное пересечение множеств не вырождено в нуль-вектор.) 
Следствие 1. Точка $ является решением предельного уравнения (100) 
при © —> 0, когда матрица Якоби функции И(х) нуль-нормальная, т. е. 


м =( т ее <> а =( Кег в (102) 
ах Ах Чх Чх/ /. 


(При этом, в частности, она нормальная, симметричная ит. д.) 
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Следствие 2. Теорема остаётся справедливой, если уравнение (100) 
заменить на тождественное ему уравнение с параметром М = 1/0: 


ых м-в) 0, №. (103) 


Доказательство. Если решение х(%) уравнения (100) при © -> 0 
в пределе существует, то оно с точностью до конечной величины 
принадлежит множеству решений уравнения связи В(х) = 0, т. е. (Х), но 
с точностью до бесконечно малой 0 —> 0 отстаёт от неё. В противном 
случае имело бы место— либо В[х(0и)] = 0 и уравнение (100) при ©, —> 0 
не выполнялось; либо Чу / Ах[х(0,)] = 0 и требование задачи именно на 
условный экстремум Чу / Чх = 0 не соблюдалось. Эта бесконечно малая 
разность для некоторой точки © < (Х) составляет [х = ©]. При этом 
значение В[х,(0,)] с точностью до @ —> 0 можно выразить, используя 
первый член разложения вектор-функции В(х) в ряд Тейлора: 


в [хе (<) | = ое 


Подставляя это значение вместо В(х) в (100), получаем: 


(хе (а)-&) (*®) + 3 ® =0. 


Это линейное уравнение с точностью до 0 — 0 разрешимо тогда 
и только тогда, когда, например, с использованием соответствующего 
характеристического симметричного проектора имеем требование: 


— 
%.\_/ 4. а [в \ (4%) _ 
Е 9) Е (= те ) <> ти (©) Е 9) [29] = 0. (104) 


При выполнении этого требования общее решение х, (0) с точностью 





до 9 -—> 0 выражается явно из линейного уравнения: 


(а. \ (4%) ав _ 
када [4 (®) ног) (105) 


Здесь общее решение линейного уравнения выражено в канонической 
форме — через его частное нормальное решение с использованием 
квазиобратной матрицы Мура— Пенроуза. 
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Соответственно при @ - 0: х,(@) СЕ (Х). В свою очередь, 
отклонение В[х,(0)] от нулевого значения в ©/-окрестности (Х) с той 
же точностью © —> 0 составляет 


<— 
[о] (9) --« вв (4-5) 
в [хе (0) =-@ Е“ то) га а ес ЕО т 


(Обратим внимание на то, что используемые два характеристических 
проектора отличаются от двух родственных симметричных проекторов, 





' 


применённых ранее в $ 2.2, но в сумме они также составляют ТР 
Подставляя опять в (100), но уже с точностью до © —> 0 выражение 


для В(х) в а/-окрестности точки © е (Х), окончательно получаем: 


> 





со. | [в \|_ (106) 
Ба =+а ее чх © |") 0. 


Но решение этого уравнения на множестве (Х) с точностью до а, —> 0 
тождественно решению $ градиентного уравнения вида 


—_ 


Г] 9 [а | 
о 7 о к ® [6 ®) тм 0 








(107) 
тогда и только тогда, когда выполняется требование (101), или тогда, 
когда выполняются менее строгие требования (102) или (92). При этом 
следует учесть, что, в силу (100), @ л$Е (Х). *** 

По сути, точка 5 здесь является совместным решением систем: 








> > 
Чу. ав. В Ги Чу. [И _ ав 6, 
4х | 4х \ 9х 4х |\ 9х) 4х 
В(х) =0; В(х) = 0. 


Вторая из них есть система (77) при 11 = п. В случае выполнения менее 
строгих требований (102) или (92), нежели (101), проекторы в обеих 
системах становятся тождественными. 

Отметим также то, что условие (101) требует, чтобы пхп-матрица 
Якоби {Чв / 4х} ($) фактически имела хотя бы один тождественный 
левый и правый сингулярный собственный вектор, коллинеарный в 
точке $ вектору градиента Ау/4х! 
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Менее жёсткое требование к В(х) состоит в нуль-нормальности её 
матрицы Якоби АВ / 4х. Признаки принадлежности к собственному 
множеству и свойства для нуль-нормальных пхп-матриц (как и более 
общих нуль-простых) были ранее установлены и подробно рассмотрены 
в монографии [27, с. 36 - 50]. В частности, к их полному множеству 
относятся нормальные М, симметричные 3 и кососимметричные К 
матрицы, а также положительно и отрицательно полуопределённые 
симметричные матрицы, выражаемые как +А’А и =АА'. Отметим тут 
важное геометрическое свойство любой нуль-нормальной матрицы: на 
евклидовом координатном пространстве её образ и ядро составляют 
прямую евклидово ортогональную сумму. Например, в силу именно 
такого свойства, весьма существенное в общих предельных методах 
компенсационное требование (104) в случае произвольных целевых 














функций у(х) на @-окрестности выполняется тогда и только тогда, 
когда матрица Якоби нуль-нормальная. Кроме того, и более общие 
нуль-простые матрицы приводятся модальным преобразованием У = У" 
исходного базиса к нуль-нормальной форме [27, с. 61]. 

Из анализа хорошо известно, что @’(х)4х = 4Ф(х), т. е. является 
полным дифференциалом при свободном @Х и ненулевой П(х), как в (92), 
тогда и только тогда, когда матрица Якоби АЙ / 4х симметричная. 
Однако, если на некоем непрерывном подмножестве (Хх) пх1-вектор- 
функция В(х) повсюду нулевая, то тогда и В’(х)4х = 0 формально 
также является полным (нулевым) дифференциалом Аф для функции 
Ф(х) = соп8 (несмотря на то, что матрица Якоби АВ / 4х на (Х) может 
и не быть симметричной). Поэтому пх1-вектор-функция В(х), нулевая 
на области (Х), формально на ней же всегда интегрируемая! Причём в 
весьма важных частных случаях пх1-вектор-функция В(х) удовлетворяет 
требованию (92), т. е. является именно градиентной функцией на области 
определения. Тогда, интегрируя вектор-функцию №, (х) в (100), получаем 
с точностью до постоянной (97). Не нарушая общности теоремы 3 и её 
следствий, умножив обечасти функции на параметр М = 1/%— множитель 
Лагранжа в (94), получаем композиционную функцию (96) в форме 
функции Лагранжа с бесконечно большим скалярным множителем. При 
этом правая часть уравнения (98) тождественна (100), что подтверждает 
следствие 2 теоремы 3. Следовательно, градиентные уравнения (98) и 
(99), как выше и предполагалось, дают в пределе то же самое решение, 
что и системы (85), (77) в задаче на условную стационарность функции 
у(х) при ограничении В'(х) = 4ф/4х = 0. 

Теперь пусть В(х) — произвольная 11х|-вектор-функция, но по- 
прежнему на -поверхности (Х) и только на ней она нулевая: В(Х) = 0. 
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Составляем композиционную функцию Куранта вида: 
1 
а (108) 


Такие функции применяются в особом численном методе условной 
оптимизации, который предложил Р. Курант в середине ХХ века, — 
методе штрафной функции [10]. Роль как бы штрафа, налагаемого в 
процессе оптимизации на целевую функцию У(х), играет значительно 
увеличиваемое множителем М второе слагаемое в (108), образуемое, 
например, квадратом евклидова модуля вектор-функции ограничения, — 
штрафная функция М№:Ф(х). В методе штрафной функции Куранта 
скалярный множитель М выбирают достаточно большим исходя из 

возможностей вычислительной техники и имеющейся погрешности. 
Роль Ф(х) в (108), т. е. нецелевой скалярной функции Ф(х) из (96), 
например, выполняет специальная функция ф(х) = № В'(х) ‹ В(х) — 
ЧВ 


такая, чтобы уравнение -т =В’(х)- Ч =2(х) = 0 имело то же общее 
х х 





решение (Х), что и исходное уравнение связи В(Х) = 0. Это имеет место, 
так как гапс { в / 4х} = т, или (Кег ав / 4х) = 0. Тогда композиционное 
дифференциальное уравнение, производимое из (108), вида 
ак 
А. зы сео (109) 
9х 4х ах ах ах ах 





теоретически при М -> 0 даёт на (Х) то же самое решение $ задачи 
на условную стационарность функции У(х) при ограничении В(х) = 0, 
что и тождественные системы уравнений (85) и (77). 

Разумеется, аналогичным образом эту же скалярную функцию Ф(х) 
можно использовать в тождественном методе с малым параметром 0: 











| 

Ка (х) = $(х)+ о. у(х) вом (110) 

са о ба ей (111) 
Чх Чх дх Чх дх Чдх 


Обе композиционные предельные функции, аналогичные (96) и 
(97), связаны друг с другом через соотношения: 


Касд- Кб, К») =“ Ка(9. (112) 
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жж 


Если в обеих композиционных функциях (96) и (97) поменять 
местами целевую у(х) и вспомогательную Ф(х) функции, то приходим 
к предельным методам решения экстремальных задач иного вида — 
типа поиска строгого экстремума одной функции (вспомогательной) 
на нестрогом или плохо обусловленном экстремуме другой функции 
(целевой). Составляем композиционную функцию Тихонова вида: 


Та (®) = У(х)+а.60(х). (113) 


Такого типа функции применяются в методе устойчивой безусловной 
оптимизации, который предложил А.Н.Тихоновв 60-х годах ХХ века, — 
методе регуляризации Тихонова [36, 37]. Роль вырожденного или 
плохо обусловленного уравнения связи играет градиентное уравнение: 


в д-0-хе (1) (114) 


При точных элементах в (114) стационарность имеет вырожденный 
характер и реализуется на гладкой и регулярной 4-поверхности (Х). 
Однако, при неточных элементах в (114) стационарность может быть 
почти вырожденной (плохо обусловленной). Тогда даже незначительные 
изменения в расчётных данных из-за их исходных погрешностей и 
ошибок от округлений при вычислениях приводят к очень большому 
влиянию на конечный результат, т.е. в данном случае на решение 
конкретной задачи на безусловный экстремум целевой функции У(Х). 

Для получения корректного по Тихонову устойчивого точечного 
решения такого типа задач безусловной оптимизации в (113) как раз 
и применяется вспомогательная функция @-0(х), или стабилизатор. 
Скалярный множитель 0, выбирают достаточно малым по величине — 
так, чтобы стабилизатор был на уровне оценки погрешности для У(х). 

Типичный пример использования метода регуляризации Тихонова— 
вычисление нормального решения $° на Ч-поверхности (Х), задаваемой 
плохо обусловленным градиентным уравнением вида (114). Решение $* 
отвечает тут требованию минимума его евклидовой нормы на общем 
решении (Хх) градиентного уравнения (с переходом в «1 и декартов 
базис), с учётом неточности исходных данных и округлений: 


Ти) = убд+а-000 = убдча- хх, (115) 


ЧТ» Чу 40 . 
Е. —=8(х) +9 -х’=0 > х=$. 116 
9х ах ы 4х 509 и 
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В данном аспекте использования предельного метода уравнение связи 
(114) предполагается также разрешимым, но в виде 4-поверхности «Х). 
Поэтому матрица Гессе Ч?у/Ах’Ах на этой области экстремума У(х) 
обязательно сингулярная. Однако сам метод регуляризации Тихонова, 
применительно к экстремальным задачам, трактуется гораздо шире. 
Часто метод используется для устойчивого решения разнообразных 
задач безусловной оптимизации функции У(х) с нестрогим или с плохо 
обусловленным экстремумом. Тогда проблемы устойчивости возникают 
и с анализом на знакоопределённость плохо обусловленной матрицы 
Гессе ($ 1.9), играющей в задаче фактически роль матрицы Якоби 
функции ограничения, вырожденной и симметричной по структуре: 








2 О 
4^у 94 9 
х х х) |. 117 
Че ) 20 ) | ) (117) 
Вычисление же матрицы Гессе с применением стабилизатора @"0(х), 
т. е. с последующим дифференцированием градиента в форме (116), 
позволяет устранить имеющуюся плохую обусловленность, так как 


стабилизированная симметричная матрица Гессе всегда несингулярная, 
в силу её особой резольвентной структуры: 


4? 4? у 


$) +о.Ть. 118 
4х мы ея 





28) - 


Заметим, что метод регуляризации Тихонова не повышает точность 
решения экстремальной задачи: он лишь делает процедуру её решения 
устойчивой, например, к погрешностям опыта и ошибкам округления, а 
результат —— однозначным. А это тоже немаловажно в вычислительном 
аспекте. Но инвариантность к масштабным преобразованиям теряется. 


#жжх 


В изложенных выше предельных методах решение $, отвечающее 
условной стационарности, при вычислениях может дополнительно 
Уточняться аппроксимацией по естественным формулам: 
_ 5(39)+5С9) _ 5@№)+8-М) 
$ = ‚5 : 


2 2 
Кроме того, отдельно отметим, что нормальное решение задачи на 








(119, 120) 


вырожденный условный экстремум функции У(х) предельным методом с 
малыми параметрами 0, и 9? может рассматриваться как его двукратное 
применение. Задачи подобного типа классифицируются тут как поиск 
экстремума одной целевой скалярной функции на области нестрогого 
экстремума другой целевой скалярной функции. 
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Эту цепочку можно, в принципе, продолжать, составляя исходную 
композиционную функцию Ф, (х) или Ф(х) в форме многочлена либо 
от а, либо от М. Например, в двухзвенном варианте вычисляются: 

— максимум у (х) на нестрогом максимуме у.(х), или максимакс; 
— максимум у (х) на нестрогом минимуме у›(х), или максимин; 
— минимум у; (Х) на нестрогом максимуме у,(х), или минимакс; 
— минимум у (Х) на нестрогом минимуме у.(х), или минимин. 

Далее перейдём к анализу характера условной стационарности 
У(Х) в точке $. Коль скоро в результате решения предельного уравнения 
типа (100) или (102), в том числе градиентного типа (98), (99) или 
(109), (110), вычислена точка условной стационарности 5, то в ней же 
возможно вычислить полуусловную и условную матрицу Гессе в (89). 
(Знакоопределённая полуусловная матрица Гессе в случае линейного 
уравнения связи, т. е. на плоскости в координатном пространстве, сама 
по себе задаёт характер строгого условного экстремума.) 

Однако, возникает вопрос: а можно ли строго установить природу 

условной стационарности У(Х) тем же самым предельным методом, 
развивая его до логического завершения? Ответ на это даёт: 
Теорема 4 (предельная). Характер условной стационарности функции 
У(х) при ограничении уравнением связи В(х) = 0 и матрице Якоби 
ЧВ / 4х, удовлетворяющей требованию теоремы 3, в точке условной 
стационарности $ задаёт симметричная по структуре композиционная 
условная матрица Гессе: 


42Ф, (46 _) 
Чх’Ах © - ах ® , 





вычисляемая в общем случае (для уровня стационарности р = 2) 
с точностью до 0» + 0. 

Доказательство. Дифференцируявектор-функцию№!" а(х) согласно(100) 
или дифференцируя дважды скалярную функцию Ф а(®) согласно (97) в 
©-окрестности 4-поверхности В(х) = 0, получаем пхп-матрицу: 


2 


42Ф, [45 _) в. 9. 
Чх’Ах =) | Чх © ах (0) ‘де ах (= (125) 








Она определяется как композиционная предельная условная матрица 
Гессе. Вычислим её значение в точке х,(0) с точностью до @ — + 0, 
используя первые два члена разложения матрицы Якоби в ряд Тейлора, 
с учётом формулы (105): 
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2, [450 \_ в а. Ш 
те (5) Ч ° Ч (5) Е к ® [5 (@) $ +а- (5) 





























х’'ах 
пхп пхп пхп пхихи пх1 пхп 
2 + ' 2 
_ 48 АВ ав Чу - | Чу -_ 
4х а дхах®) | ®) [2 р Чх’ах в) 
пхп пхихи пхп пх1 пхп 
ав _ чу (а _\*| а2ь _ а?у _ 
= . . . + . = 
ах в ах в Е ®) х’ах а х’ах 8) 
пхп ` ка Пхи пхихп пхп 
ав _ ау |4. Е . | а?в _ 
= — ($ +4. $ 5). $ . $). = 122 
дк ( И ках ) ЕР ) с. ) драк ) (122) 
пхп пхп 1хи пхихи 
2 
Ч _ 97. 
=— + а: . 
9х та Чх’ах ® (123) 


Тут, во-первых, используется тот факт, что ядро матрицы Якоби 





. _ 42 ав 
переносится и на её производную: 4 = Илхп: Во-вторых, 
Чх’ах Чх 
во 2-й и 3-й строке цепи (122) при транспонировании 2-го слагаемого 
(симметричной пхп-матрицы) квазиобратная матрица Мура— Пенроуза 
переносится влево как есть, с учётом необходимого и достаточного 
требования (101) или более широких требований (102) и (92). Здесь 
используются те же обозначения и приёмы умножения трёхмерной 
матрицы частных производных, что и ранее в формуле (89). Отметим, 
что в (122) требуется вычисление квазиобратной матрицы Мура — 
Пенроуза от сингулярной пхп-матрицы (см., например, в [27, с. 51]). 
Из сравнения формул (122) и (89) видно, что предельная условная 
матрица Гессе есть композиция из матрицы Якоби и полуусловной 
матрицы Гессе с множителем +0. В общем случае, отвечающем (101), 
или в менее общих случаях, отвечающих (102) и (92), пхп-матрица 
Гессе (122) при © —> + 0 имеет п - а=г= гапр {ЧВ / 4х} конечных 
собственных значений, равных таковым же для пхп-матрицы Якоби, и 
а=п-г=п- гап? {ЧВ / 4х} бесконечно малых собственных значений, 
пропорциональных параметру © —> + 0. 
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Эта матрица при ©, —> + 0 проявляет себя как пхп-матрица Якоби 
от В(х) на подпространстве её ненулевых собственных значений, т. е. 
на (пп В / 4х), и как аффинная проекция полуусловной пхп-матрицы 
Гессе от функции У(х) на (Кег ав / 4х) параллельно (пп ав / Чх) ‚на 
подпространстве её нулевых собственных значений, т. е. на касательной 
Ч-плоскости (/) к д-поверхности (Х) в точке $. Для того чтобы далее 
от её бесконечно малых собственных значений перейти к условным 
собственным значениям матрицы Гессе, нужно их поделить на ©. Тогда 
они своими знаками и значимостью обычным образом ($ 1.9) задают 
характер условной стационарности функции в точке 5. При количестве 
ненулевых значений менее 4 условная стационарность нестрогая. *** 

При линейном ограничении с матрицей Якоби АВ / 4х = В = Соп$ 
того же размера пхп и ранга г = п — 4 композиционная матрица (122) 
значительно упрощается: 


42Ф, _ [4 _\ @. у 
й - 124 
т ($) [2 $) Е ($) +“ (5). (124) 








4х’ах х х’Ах 


Если же как, например, в (110), (111) применяется уравнение связи 





Он в 
4х 4х 


где гапз {ЧВ / 4х} =Г=П - 4, или (Кегав / 4х), = 0, то предельная 
композиционная условная матрица Гессе от у(х) с точностью © —> + 0 
соответственно симметричная: 











Фи, 4. _ 

ка (5) га (5) 

_ 42 р а?у _ ду _ (& _ ] | ао’ ы в 

но Е чх ®) 4х ($) ЕЕ = (125) 

2 

д’ - О 

=—(®+а. 12 
4х о 4х'4х ©) у 


Здесь функция и вектор-множитель Лагранжа имеют вид: 
т 9у = [4'-} 
Р=((х,^) = у(к-^-в'(х); ^=--@®):|-- 6) (127) 
ах 4х й 
Но в отличие от ранее полученной формулы (122) тут не требуется 


вычисления квазиобратной матрицы Мура — Пенроуза от сингулярной 
пхп-матрицы Якоби (!), так как: 


$ 2.4. Предельные методы решения задач на условный экстремум 109 


' ' 


-(® 5% [< (128) 








Чх 4х) ах ах 
+ 
сы ме и 
4х 4х/ 4х 9х 9 
При линейном уравнении связи также имеем упрощение: 
@Ф 7 





2 | 
ба в) - а. Ч 9-е) да. “У @). (130) 
4х’Ах ах 4х’Ах 4х ах ах’ах 
Доказательство инвариантности изложенного общего предельного 
метода решения задачи на условный экстремум У(х) к линейным 
модальным преобразованиям переменной х и вектор-функции В(х) 
предоставляется читателю в качестве упражнения. Причём предельное 
решение целесообразно рассматривать как решение методом Лагранжа 


с бесконечно большим скалярным множителем М. 


жж 


Пример. Найти нормальное решение $° на области вырожденного 
минимума скалярной функции 2-го порядка от х: 


4(х) = (бх+8,') -(бх+8') = х’.б?.х+2.х'.8'+80-80’ (48 =0). 
Данная задача решается аналитическим путём точным образом 


любым из 4-х вышеописанных предельных методов (общих и частных). 
Например, по методу регуляризации Тихонова имеем: 


Та) =а®)+а-60(х) =а(®)+а-х’.х, 


и) = [6х +а-х= [62 +а-1).х+во, 
х 














$ 
ЧТо. =0 («—>0) -> $*=- Ш (6? +а-1) 20°. 
Чх @«—>0 
Точное вычисление этого предела будет рассмотрено в $ 4.5. 
Изложенные предельные методы условной оптимизации целевых 
функций с большим и с малым параметром реализуются на практике 
пока только в частных модификациях — в методе штрафной функции 
и в методе регуляризации. Причём они применяются именно в своих 
численных формах (см. $$ 5.11 и 5.12.3). Выше они были изучены как 
базовые аналитические методы, что позволило установить их исконную 
природу и дать им достаточно строгое теоретическое обоснование. 
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$ 2.5. Условное характеристическое (вековое) уравнение 


Предельный метод решения задачи на ограничительный условный 
экстремум позволяет далее вывести в явном виде характеристическое 
(вековое) уравнение для условных собственных значений матрицы 
Гессе целевой функции в обычной непредельной форме. Разумеется, 
оно, как и весь предыдущий анализ стационарности, относится к еб 
уровню р = 2. Вначале введём ряд вспомогательных обозначений. 
Обратим внимание на то, что предельные матрицы (122, 123) и (125, 126) 
формально есть композиция из пхп-матрицы Якоби ранга г = п -— 4 
и полуусловной пхп-матрицы Гессе ранга < п с множителем © > + 0. 
Обозначим эту предельную матрицу и её компоненты-слагаемые как 
вм = В- а 5, где гапе В =г=п-4, 5 = 5’, гай 5 < п; причём В 
удовлетворяет, например, условию (102). 

Характеристическое (вековое) уравнение матрицы О а Относительно 


её собственных значений и; имеет вид: 
ЧеКОа, — 0) = (в) +41 (©). (-1)й 1 +...+ап—1(0)-(С-в)+9и (©) =0. (131) 


Соответственно в этой форме оно имеет скалярные характеристические 
коэффициенты при степенях (-—!) вида: 


а, (&)=К(О.0=иОи, 
Ч) (©) =К(Ол,2), 


Ап (@) =К(Оз, п) = 4е Ос. 





Для матриц В и $ аналогичные характеристические коэффициенты 
порядка 1 обозначаются далее как 5; и $.. 

Применим классическую формулу для детерминанта суммы двух 
матриц (в данном случае это В и © 5). При этом учтём, что в интервале 
основного индекса г < 1 < п: Ъ, = 0 (как и все миноры В порядка > т), 
но Б, = 0, так как гапз В =г=п- 4. Кроме того, вспомним, что сами 
характеристические коэффициенты порядка 1 представляют собой 
сумму детерминантов всевозможных диагональных (главных) миноров 
пхп-матрицы размера 1х1. В итоге получаем следующие разложения 


характеристических коэффициентов матрицы о по степеням 0: 
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а; (©) =Ъ, + 9-51, 


— . 2. 
> (©) => +9 а) +9” -52, 


—_ 2 2. 3. 
3 (©) =63 +9 Ч (2) +9 Чза) +9 "53, 
а. (9) =ЪЬ+а-а +...+7-2-а +97 1.5 
т—1 г—1 1—2) 1) г1, 
—_ . = Та 
Ч. (00) =ЪБ: +9 ка +... + 0 Ч + ог -5т, (132) 








Здесь у коэффициента 94:6) первый индекс 1 означает его порядок, 
а второй индекс ] означает: сколько строк (или столбцов) матрицы В 
заменили те же строки (или столбцы) матрицы 5 при формировании 
составных матриц из В и $ для вычисления детерминанта их суммы. 


Из (132) следует, что все характеристические коэффициенты 9;( 0) 
порядка 1> г пропорциональны параметру © -> 0. В связи с этим 
преобразуем вековое уравнение (131) к следующему виду: 


(-ы)’т | Сы" +9, (@)-(-н)' +... + а. @-(-и)+ че (о) + 


+ агни (0 -(-и)" Г" +...+91—1(@-(-н) + ап (©) = 0. 


Отсюда видно, что при © —> 0 вековое уравнение даёт а = п —г нулевых 
и гненулевых собственных значений. Последние при © —> 0 совпадают 
с таковыми значениями для матрицы Якоби В. Но интересующие нас 
условные собственные значения матрицы Гессе 3 пока для 9. суть 
бесконечно малые величины из-за пропорциональности параметру ©. 


Поэтому сделаем дополнительное преобразование: |, = © ` \,. Вековое 
уравнение тогда приобретает следующий вид: 





СУ о мы 


+] в (д - (ом асом (133) 
+ Чп_1()-(-ом) +в (© ый. 


С учётом указанных в (132) разложений 9;(9) по степеням 0, видно, 
что первые г членов уравнения содержат © в степени > п -г+ 1, 
аостальные п —г- 1 членов уравнения содержат © в степени < п -— т. 
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Поэтому вековое уравнение в форме (133) даёт именно г бесконечных 
собственных значений матрицы В/@ и 4 = п - г условных собственных 
значений у, матрицы Гессе у(х). Для вычисления У, в пределе при 0, > 0 
членами уравнения (133), стоящими вне его квадратных скобок, можно 


пренебречь. Теперь получаем предельное уравнение для У; типа: 


ат ар (о)- (УИ Той (о (УГ! +... 
..+-Чп_1(0):(-у)+ ап (@) = 0. (134) 


С целью его дальнейшего упрощения в разложениях 4(0) из (132) 
пренебрегаем членами, содержащими параметр © в степени > 1 — г, т.е. 
так, чтобы в уравнении (134) все остающиеся члены содержали только 
максимальную степень © "Г. Это допускается в пределе при © -> 0. 


т 


Далее постоянный множитель о ` в оставшихся членах попросту 


сокращается, что даёт, наконец, непредельное вековое уравнение для У; 
_ —гЬ-1 
9) СУТ +агнке СУ" +... +аи—ще) -СУ)+9а(о) = 0. (135) 


Здесь коэффициенты [9] взятые последовательно при 1 от г до п, 


1) 
уже не зависят от © (причём Чи = О). Они представляют собой суммы 
детерминантов всевозможных диагональных миноров порядка 1 от Г 
до п от составных матриц из В и 5, в которых присутствуют строки (или 
столбцы) матрицы В и (1-г> 0) строк (или столбцов) матрицы 5. 

Приг= 0, разумеется, (135) принимает вид классического векового 
уравнения. При г > 0 уравнение даёт 4 = п — г условных собственных 
значений матрицы Гессе у(х). (Среди них могут быть и одинаковые, 
и нулевые.) Отметим, что в применяемой здесь знакопеременной форме 
векового уравнения, т. е. с аргументом (—\), положительным У, отвечает 
условный минимум, отрицательным У, отвечает условный максимум, 
разнознаковым У, отвечает условная стационарная седловина функции 
у(х)— все 2-го уровня. Однако для идентификации характера условной 
стационарности целевой функции у(х) требуются всего лишь знаки У... 
Этот анализ выполняется по значениям только коэффициентов векового 
уравнения исходя из признаков его знакоопределённости (см. $ 1.9). 

Аналогично при линейном уравнения связи с пхп-матрицей Якоби 
В / ах = В = Соп51 ранга т, а также при линейном уравнении связи 
с пхп-матрицей Якоби 4е’/@х = (4в / 4х)'. в / ах =А’А = В = Сопзё, 
где А — шхп-матрица ранга т, предельная матрица Гессе выражается 
вупрощённом виде как: ©), = В + 9" С, где @ = 9?у/ах'4х($) = С’. 


Глава 3. Аналитическая оптимизация 
целевых функций от разнообразных 
комплексных переменных 


8 3.1. Два альтернативных варианта комплексификации 


В силу природы комплексных чисел теоретически реализуются два 
принципиально различных подхода к математическим операциям, как 
с ними, так и с разнообразными объектами на их основе. Эти операции 
определяют сущность комплексификации. 

Адекватный подход заключается в том, что комплексные числа и 
объекты на их основе подвергают формально тем же аналитическим 
операциям, включая простое транспонирование, что и вещественные 
аналоги. Адекватный вариант комплексификации даёт возможность 
использовать все результаты, полученные ранее для вещественных 
чисел и числовых объектов. Исключением здесь являются отношения 
типа неравенств, конечно, не для заведомо вещественных параметров. 
Отдельный важный субвариант отвечает исевдоизации, когда элементы 
комплексных чисел и объектов — только чисто вещественные и чисто 
мнимые. Соответственно в её рамках допускаются те математические 
преобразования, которые не изменяют этого свойства. Псевдоизация 
имеет место в бинарных комплексных евклидовых пространствах. 

Симбиозный подход, помимо аналитических операций, использует 
для комплексных чисел и ряда числовых объектов несводимую к ним 
операцию комплексного сопряжения, включая содержащее её эрмитово 
транспонирование. В частности, как хорошо известно, эрмитов подход 
к комплексному векторному и матричному исчислению сопровождает 
каждую операцию транспонирования ещё комплексным сопряжением. 
Эрмитова комплексификация реализуется, например, для одно- и для 
двухвалентных тензорных объектов (векторов и двумерных матриц). 
Она даёт возможность использовать в самосопряжённой форме понятия 
нормы объектов (т. е. вещественного положительного модуля), а также 
сохранить для них в аналогичной форме отношения типа неравенств. 

Эти альтернативные варианты определяют, по сути, два различных 
пути развития теорий и их приложений в комплексных пространствах. 
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Например, соотношение В.В’ = В’.В задаёт адекватно нормальные 
матрицы, а его аналог В.В” = В".В — эрмитово нормальные матрицы; 
соотношение (пп В) = (пп В’задаёт адекватно нуль-нормальные 
матрицы, а его аналог (ип В) = (пп В“) — эрмитово нуль-нормальные 
матрицы. Принципиально различно в @" определяются комплексные 
адекватно и эрмитово симметричные проекторы и отвечающие им 
квазиобратные матрицы (ортогональные в евклидовом и в эрмитовом 
пространствах). С другой стороны, комплексная обратная матрица В" 
обязательно однозначная, так как для несингулярной матрицы В всегда 
имеет место тождество (пп В) = (ип В’) = (ип В“). Параллельность 
линейных объектов, как известно, есть аффинное понятие. Именно 
поэтому она не зависит от выбора варианта комплексификации. 

К известным трём скалярным формам представления комплексного 
числа (алгебраическая, тригонометрическая и показательная) и к его 
псевдоизированной 2х1-векторной форме представления можно ещё 
добавить 2х2-матричную форму, не содержащую мнимой единицы: 


М/(а), а=р+1!ча: 





р, -Ч с05 ф, Ш ф 

=р: =$+К , 
9, Р зшф, с05$ф 

(136) 
\М/(а) = \(а), а=р-1а: 

р а с05Ф, то 

=р: =$-=К : 
1. № —тф, с0$Ф 


гдез=5’, К =-К', 5.К = К.5. Эта форма представляет комплексные 
числа «а» и «а» геометрически в вещественном декартовом базисе 
евклидова пространства. Данное вещественное представление, как 
и три скалярные формы, коммутативно и удовлетворяет всем формулам 
и тождествам для комплексных чисел. Причём последние образуют 
вещественные транспонированные пары из этих 2х2-матриц— аналоги 
комплексных сопряжённых пар чисел а и а. Нормальная пхп-матрица 
представляет геометрически в некотором декартовом базисе К < [п/2] 
комплексных чисел и (п —2К) вещественных чисел: М = В.\/.В'. 
Простая вещественная матрица представляет те же числа в некотором 
аффинном базисе: Р = У.\\/.У". Тут \! — каноническая вещественная 
форма простой (в том числе нормальной) матрицы, включающая 
в прямой сумме только 1х1- и 2х2-клетки. Она же, с точностью до 
перестановок клеток, есть простейшее вещественное решение векового 
уравнения этой матрицы: с(Н) = 0. 
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Примеры адекватной комплексификации (аналогии) 


Характерными примерами адекватной комплексификации являются 
готовые формулы решений алгебраических уравнений с комплексными 
коэффициентами; комплексные аналитические функции и тождества, 
комплексные дифференциалы, производные и интегралы. В аффинном 
комплексном пространстве, метризуемом по адекватному варианту, 
определяются комплексные меры для длины, расстояния и угла, хотя 
в псевдоевклидовом пространстве реализуются (кроме нулевой) лишь 
только чисто вещественные и чисто мнимыемеры. Евклидовы геометрия 
и тригонометрия также имеют адекватные аналоги и псевдоаналоги [27]. 
Рассмотрим применение адекватной комплексификации, например, 
в теории аналитических функций от комплексного аргумента. 

Пусть # = и + ТУ, где 7, циу суть пх1-вектор-аргументы в одном 
комплексном и двух вещественных П-мерных аффинных координатных 
пространствах; у(2) = у (и, У) + 1у.(и, У) — скалярная комплексная 
аналитическая функция от 7. Дифференцирование и интегрирование 
ваффинном пространстве по пх1-вектор-аргументу осуществляют тоже 
в аффинных координатах. Вещественные и комплексные адекватные 
аналоги имеют место для дифференциалов, производных и интегралов 
по 7. Отсюда естественно получаются частные дифференциальные и 
интегральные характеристики и устанавливается их взаимосвязь: 


ду = ду (и,у) + 1-4у.(и,у) = в'(2)а2 = [в (и,у) + В.(и,у)] (ди + 1-4) = 
= [№'(и,у)аи — В’ (и,у)ау] + 1-[в'(и,у)ау + В’, (и,у)ди)] <> 


ду! _ ду 
ди ду 





В". (и, у) = , 

ду! _ ду 
В’. (и, у) = 21 = 972 
И - 


Это суть уравнения Даламбера — Эйлера в векторной форме 
(при п >1) для дифференцируемой У(7), но необязательно с полным 
дифференциалом. Если 4У(7) = №'(2)47 — полный дифференциал, то 
В(2) — градиентная функция, т. е. ЧВ’/ая = (4'’/а2)' = Фу/аая — 
комплексная матрица Гессе от у ‚ и обратно. Применим ту же схему для 


градиентной аналитической вектор-функции В(7) = В (ш‚у) + 1-В.(и,У): 
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ОВ, В, 5?у, 52, д2у, д?у, [7 


би ду диби дубу дибу дуб (ди 








(138) 


08; 0В› д?у, Л д?у, ду, [®. 


у ди ду диби дуди дибу (0 








Первые два члена в цепочках этих равенств составляют уравнения 
Даламбера — Эйлера вматричной форме для дифференцируемой (27). 
Наряду с очевидной здесь симметричностью частных матриц Якоби 
(ввиду симметричности матриц Гессе), они формулируют также условия 
полноты дифференциалов выше в квадратных скобках! В частности, из 
(138) для двух компонент исходной аналитической функции у, (и, У) и 
у›(и, У) от вещественных аргументов \ и У одновременно следуют два 
уравнения Лапласа в матричной форме: 


2 2 2 2 
Со ВК. 
ди’ди ду’дУ ди’ди ду’0у` 





Следовательно, у и у,, связанные тут дополнительно уравнениями 
Даламбера—Эйлера(137-138),—сопряжённыегармонические функции. 
Если В(2) = В (и,У) + 1-В,(и,у) — дифференцируемая, но не обязательно 
градиентная вектор-функция, то для её двух компонент В (и, У)и В. (и, У) 
от вещественных аргументов И и У, как в (138), опять-таки следуют 
уравнения Даламбера— Эйлера в матричной форме ит. д. 

В бинарном комплексном евклидовом координатном пространстве 
(изоморфном вещественному псевдоевклидову пространству-аналогу) 
вышеуказанные соотношения изменяются следующим образом: 




















‚| ау- ау (и, + ду, (ву) = мдаи= ВЕЕР. 91 
1 91 +!:9>| |14у 
=[ р’ (и, у) виа’, (и, у) ау |+1-[ 9’, (и,у)ау+р”, (и,у)аи | => 
У, 2 0 у ду 
Ру), р’ (у) =, 1 (ву) =, (У) =—5. (139) 


Это суть уравнения-псевдоаналоги в векторной форме для у, иу.. 
Применив повторно ту же схему для градиентной аналитической 
вектор-функции №(7), получаем также, в том числе, условия полноты 
дифференциалов выше в квадратных скобках: 
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бр! 9? у, 9?у, = ЕЭ 





бу ди’бу | дуди ди 


' 
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бр> д? д? [№ 





ду дишду | дуба ди 
бр: _ 9? _[ Эр ба _ 9?у. _ [ 941 
ди ди’ди ди ]’ ду дубу ду /’ 


(140) 
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бр. _ 0?у, - (= 04› _ 0? - (==) 
ди ди’би (ди /” ду буду \ ду 


Отметим, что в бинарном комплексном евклидовом пространстве уже 
нет свойства гармоничности для пары скалярных комплексных функций 


у (и,У) и у.(а,У), составляющих аналитическую функцию У(2). 
Примеры симбиозной и эрмитовой комплексификации (аналогии) 


В эрмитовых пространствах, как хорошо известно, определяются 
вещественные положительно определённые меры: нормы для длины, 
расстояния, скалярного и тензорного угла, ортогональные эрмитово 
симметричные проекторы и квазиобратная матрица Мура — Пенроуза. 
Есть эрмитовы аналоги евклидовой геометрии и тригонометрии [27]. 
Ряд алгебро-геометрических неравенств, имеющих прямое отношение 
к определению мер и норм, тоже имеют свои особые эрмитовы аналоги. 

В анализе для аналитических функций от комплексной переменной 
хорошо известен принцип максимума модуля [26]. Обоснование этого 
принципа, в том числе для многомерных комплексных функций от 
многомерной комплексной переменной, будет изложено строго и весьма 
наглядно в этой главе с применением операций формального анализа. 

Наиболее общий, по сравнению с эрмитовым, симбиозный подход 
в применении к основным операциям анализа в бинарном комплексном 
пространстве приводит к симбиозным аналогам. Это особые правила 
для формального дифференцирования и интегрирования функций от 
сопряжённых аргументов х и х; особые требования для их формальной 
дифференцируемости или аналитичности, а также особые требования 
кдифференциальным выражениям для их формальной интегрируемости 
(полноты дифференциала). Отсюда логично получаются отличающиеся 
простотой и наглядностью симбиозные аналоги классических методов 
решения задач на безусловный и условный экстремумы вещественных 
скалярных функций от ряда комплексных сопряжённых переменных. 
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Эти функции обязательно симметричные по отношению к сопряжённым 
переменным. По сути же, в последующих параграфах данной главы 
предпринято необходимое для большей полноты комплексного анализа 
развитие известной идеи формальных производных (см., например, [8]) 
для неголоморфных, в том числе, что здесь особо важно, вещественных 
функций от комплексных сопряжённых переменных. Для иллюстрации 
таковых в данной монографии можно указать конкретные примеры: 
квадрат эрмитова модуля для (псевдо)нормального решения и невязки 
комплексного линейного уравнения типа Ах = а— модульные функции; 
коэффициенты вещественного алгебраического, в том числе векового 
(характеристического) уравнения с парами комплексных сопряжённых 
корней — немодульные функции от корней уравнения. 


8 3.2. Формальное дифференцирование и интегрирование 
в комплексном пространстве 


Решение задачи на экстремум целевой вещественной функции от 
комплексной переменной (как одномерной, так и многомерной) можно 
осуществить, впринципе, либо значительно упростить, если прибегнуть 
к так называемому формальному дифференцированию. Формальные 
производные в литературе известны (например, [9, 26]). Но достаточно 
развитый аппарат для формального анализа в литературе отсутствует. 
В изучаемом аспекте необходимость в формальном анализе вызвана 
тем, что целевая вещественная неголоморфная функция по природеесть 
симметричная функция от двух формально аналитически независимых 
друг от друга переменных х и Х, т. е. как у = У(х, Хх) = у(х, х) = у. 
Эти переменные преобразуются друг в друга операцией комплексного 
сопряжения, которая не является аналитической: 


ХЕИ-ЬУ 4 Х=Оа-У. 

Объединив исходные одномерные аргументы Х и Хх в бинарный 
2х1-вектор-аргумент \у = (х, Х), далее преобразуем вещественную 
функцию к универсальной форме у = \у(\). Такая форма в основных 
операциях анализа преобразуется относительно бинарного аргумента \\ 
обычным образом, как от некоего векторного аргумента. Она применяется 
только для симметричных, т. е. вещественных функций от Хх их. 

Строго говоря, х и Х полностью аналитически независимы друг 
от друга тогда и только тогда, когда их вещественная и мнимая части 
аналитически независимы. Последнее не выполняется в задачах на 
условный экстремум целевой скалярной функции у = У(х, х) = У(х, х) 
с внутренне ограниченной комплексной переменной. 
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В задачах такого рода нужное ограничение задаётся через уравнение 
связи между х и Х посредством также вещественной симметричной 
функции ограничения типа В = В(х,х) =В(х,х) = 0 — при одномерных 
комплексных сопряжённых переменных Х и Хх. В частности, подобное 
внутреннее ограничение и соответствующий ему условный экстремум 
могут иметь место для целевых функций от одномерной комплексной 
переменной! (Разумеется, неголоморфные функции У от Х и Х могут 
быть и комплексными, но тогда они уже несимметричные относительно 
этих переменных: у = У(х, х) <> у = У(х,х).) 

Пусть (©) = (© ) < @— некий бинарный интервал на комплексной 
числовой оси @; (х., Х,) — некая внутренняя бинарная точка на этом 
интервале. Определим, что комплексная функция у = у(х, х) формально 
дифференцируема (непрерывно) в бинарной точке (х,, х,), если в ней 
существуют формальные производные (непрерывные) ду/0х и Оу/ОХ. 
Обратим внимание здесь на то, что для формальных дифференциалов 
аргумента и функции в отличие от тех же обычных дифференциальных 
характеристик при их обозначениях применяется курсив! 

Далее совершенно естественным образом определяется формальная 
дифференцируемость комплексной функции у = У(Х, Х) на некоторой 
бинарной окрестности точки (х,, Х,), на заданном бинарном интервале 
(С7) и на комплексной числовой оси @ в целом (когда это возможно). 

Комплексная функция у = У(х, Хх), формально дифференцируемая 
на некоторой бинарной окрестности точки (х„, х,) и представимая на 
ней сходящимся двукратным степенным рядом от Х и Хх, является по 
определению формально аналитической в бинарной точке (Х,, Х,). 

В частности, функция У дифференцируема по х в обычном смысле, 
т. е. по Даламберу — Эйлеру [9, 26], тогда и только тогда, когда Оу/0х 
существует, а Оу/дх = 0. Все указанные определения и свойства легко 
распространяются на функции многомерных переменных у = У(Х, Х). 

Для вещественной скалярной функции у = у = у(х, х) = \у(\), 
дважды формально непрерывно дифференцируемой, имеем полные 
и частные дифференциалы и производные 1-го и 2-го порядков: 











дебиан Та (141, 142) 
А 9х ох 
2 2 2 2 
у У рый Ро У аа 4. (143, 144) 


фи 9х2 2х2х РЕ 
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Здесь фу/4\у и у/А\'4\у — градиент и матрица Гессе для функции У 
по бинарному аргументу У = (х, х). Причём 2х1-вектор-переменная У\, 
как было оговорено, есть формальная прямая сумма скаляров х их. 
Матрица Гессе от у по аргументу У, как ей и положено быть вообще, 
квадратная и симметричная: Фу/а\’аум = (у/а\'А\)'. Но она и 
градиент в (141) и (143) суть комплексные характеристики! 

В формуле (144) скалярная смешанная 2-я частная производная не 
изменяется при перестановке дифференциалов ОХ и ОХ, равно как и их 
произведение. Поэтому здесь, как обычно, удвоен один из смешанных 
дифференциалов, равный другому. Тут не имеет значения: функция у 
вещественная или комплексная. Лишь бы она была одномерная! 

Для вещественной функции у = у(х, х) = у(х, х) = у, очевидно, 
однородные производные комплексно сопряжены по отношению друг 
к другу, а смешанная производная обязательно вещественная: 


= -[2 02у _ 9?у 52у _ 92у т 52у 
5х (2х) 22 | 2’ 2%2х 2хох | 250х 





(145—147) 


Отметим сразу же одну существенную особенность комплексного 
анализа (в отличие от вещественного прототипа). Любые независимые 
одномерные комплексные переменные — здесь это х и Х или Ах и 
АХ обладают двумя степенями свободы, так как комплексная числовая 
ось для их отображения геометрически, по сути, является комплексной 
плоскостью с её единичным базисом (1, 1). Поэтому, например, нельзя 
говорить о конкретных дифференциалах функции у (первых, вторых 
ит д.) из данной комплексной точки (Хх, Х,), т. е. не по конкретному 
внутреннему направлению аргумента. Они представляют собой всегда 
некие множества значений, получаемых при всевозможных внутренних 
направлениях Ах «> (Х на комплексной числовой оси (плоскости) @. 
Но последняя в скалярном анализе формально принимается как бы за 
одномерную комплексную числовую ось! Так удобно в комплексном 
анализе ввиду получаемой схожести символики записей формулировок 
с аналогичными формулировками в вещественном анализе. Здесь это 
видно, например, по обозначениям дифференциалов и производных. 
Отметим, однако, что для итоговых дифференциальных характеристик 
в любом случае принципиально возможно выполнить полный анализ 
по всевозможным внутренним направлениям дифференциалов &х и СХ, 
причём даже с каким-либо задаваемым его внутренним или внешним 
ограничением, и далее получить окончательный результат. 
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Именно с подобным приёмом в последующих параграфах будут 
рассматриваться решения задач на экстремум, в том числе условный, 
для вещественной целевой функции от комплексных сопряжённых 
переменных Хх их, или от объединяющей их векторной переменной У. 

Как обратную операцию, определим формальное криволинейное 
интегрирование на @ для пары производящих функций по АХ и (Хх: 


[р (х,х) 4х +р» (х,х) ах = у(х,х)+С. 
Г (148) 


Здесь р! (хх) = >. р2(х,х)= = . Этот криволинейный интеграл не 


зависит от пути Г. (т. е. под знаком данного формального интеграла 
стоит полный формальный дифференциал) тогда и только тогда, когда: 
1 Ги) 

2. = Ява. (149) 
0х 0х 

Это следует непосредственно из очевидного свойства смешанной 2-Й 
(скалярной) частной производной, тождественного требованию (149): 


2 2 
и (150) 
Охох 0хох 
В частности, для вещественной функции Б = В = $. Итак, (148) при 
требовании (149) вычисляется как обычный криволинейный интеграл, 
не зависящий от пути интегрирования, выполняя этот путь только по 
одному из дифференциалов аргумента, например, по (Х. 


На аффинном п-мерном комплексном пространстве @", задающем 
многомерные переменные х и х, определяются такие же характеристики 
и операции с ними. Для вещественной функции у = у= у(х, х) = \у(\), 
дважды формально непрерывно дифференцируемой, имеем полные и 
частные дифференциалы и производные 1-го и 2-го порядков: 














д У ак, (151, 152) 
ам Ох ох 
9 
42у = 4 а У ам = 
у ь | 
аб У ща" У що У д. (153, 154) 
Ох'ох вх’Эх ох ох 
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Здесь Фу/а\у и Фу/ауу’ ам = (42у/аз'\)' — градиент и матрица Гессе 
для функции у по бинарному аргументу У = (х, Хх). Причём 2пх1-вектор- 
переменная У есть формальная прямая сумма векторов Хх и х! Градиент 
и матрица Гессе в (151), (153) — комплексные характеристики. 

В формуле (154) фигурирующая в ней одна 2-я смешанная частная 
производная транспонируется в другую 2-ю смешанную производную 
при перестановке формальных дифференциалов ОХ и и бХ: 

2 2 2 2 

— Е На -_бУ св. (155, 156) 
0х0х 0х’0х 0х0х 0хох 








Причём ах" В ах=ах"В'ах. Поэтому в формуле (154) аналогично тому, 
что в формуле (144), стоит только удвоенное первое слагаемое. Опять 
же не имеет значения: функция у вещественная или комплексная. Лишь 
бы она была одномерная! 

Для вещественной функции у = у(х, х) = у(х, х) = у однородные 
производные комплексно сопряжены по отношению друг к другу, 
а смешанные производные (любая из двух) обязательно эрмитовы: 











ву [6 22 ‚ [ 22 

› | › | = =$ =| |; (157, 158) 
9х ох 9х 9х ох ох 

* * 

2 2 2 2 

9 р, ‚ 2 р, = 

о ОЕ Ес ИЕ. АЕ ес: 159.160) 
9х’ дх 9х бх 9х 0х 9х ох 


Формальный криволинейный скалярный интеграл на векторном 
п 
комплексном пространстве @ ' определяется как: 
' — ' — == 
|, (х,х) ж-р>'(х,х) ах =у(х,х)+С. (161) 
|й 


Здесь р (хх) = >. р (х,х) = = . Этот криволинейный интеграл 


не зависит от пути Г. (т. е. под знаком данного формального интеграла 
стоит полный формальный дифференциал) тогда и только тогда, когда: 


др: _ [2 

ох 9х /° о 
Это следуетнепосредственно из формул (155), (156)длясмешанных2-ых 
частных производных, которые тождественны данному требованию. 
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В частности, для вещественной функции у имеем: В =В = с=0*. 
Для того чтобы под знаком интеграла в формуле (161) стоял полный 
вещественный дифференциал, необходимо и достаточно, чтобы тензор- 
производные в требовании (162) были эрмитовы матрицы С и С’. Итак, 
формальный интеграл (149) при выполнении (162) можно вычислять 
как обыкновенный криволинейный интеграл, не зависящий от пути 
интегрирования, выполняя его по любой траектории, например, только 
по одному из дифференциалов аргумента (х. Иначе тогда необходимо 
задавать конкретную траекторию интегрирования по взаимосвязанным 
дифференциалам аргументов Ах и (Х. 

Из вышеизложенного материала уже достаточно хорошо видно, что 
формальное дифференцирование и интегрирование вполне логично и 
естественным образом дополняет классический комплексный анализ. 
Основанием для этого послужила в широком смысле симбиозная, в том 
числе эрмитова, комплексификация исходного вещественного анализа 
(см. $ 3.1). Вкратце в рассматриваемом аспекте это суть определения, 
основные признаки, свойства, характерные особенности и применение 
в комплексных координатных пространствах таких основных понятий, 
как формальные дифференцируемость и аналитичность одномерных и 
многомерных неголоморфных функций, формальныедифференциалы— 
полный и частные, формальные производные и интегралы. 

В следующих параграфах этой главы будет подробно рассмотрено 
применение изложенного формального анализа (дифференцирования) 
с целью использования наиболее простого и логичного способа решения 
задач на экстремум вещественной целевой функции от комплексных 
сопряжённых переменных — одномерных и многомерных, в том числе 
с внешним и внутренним ограничением. Напомним, что традиционный 
путь для их решения заключается в переходе к аналогичной задаче, но 
с удвоенным количеством вещественных переменных. 

Основные преимущества излагаемого нового подхода в сравнении 
с традиционным заключаются в следующем. Во-первых, используемые 
в таком подходе операции формального анализа и получаемые формулы 
решений мнемонически схожи с таковыми же для целевых функций от 
вещественных переменных. Во-вторых, размерность пространства при 
решении задачи определяется лишь исходной комплексной переменной 
(т. е. не удваивается как при традиционном подходе). И, в-третьих, как 
будет видно, критерий идентификации характера стационарности при 
таком подходе зависит только от модулей вторых производных — либо 
скалярных, либо тензорных, т. е. не зависит от углов их комплексного 
сдвига, что значительно упрощает процедуру анализа стационарности. 
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8 3.3. Экстремумы для функций от пары независимых 
одномерных комплексных сопряжённых переменных 


Для вещественной скалярной целевой функции у = У(Х, Х) от пары 
одномерных переменных х их, согласно (142), (144), имеем её полные 
и частные формальные дифференциалы 1-го и 2-го порядков: 








Е а а. (163) 
ох ох 
2 2 2 —_ 
бы а а (164) 
9х2 охох 2х2 


Из вещественности целевой функции У следуют дополнительные 
свойства частных производных (145)—(147). Так, из (147) видно, что 
2-я смешанная производная в данном случае обязательно вещественная. 
Частные смешанные дифференциалы в (164) также вещественные. 
Теорема 5. Вещественная функция у = У(х, Х) стационарна в бинарной 
точке ($, $) тогда и только тогда, когда 


ду ду 
‚5 =0 3) =0. 165 
—- (5, 5) = (3, 5) (165) 





(Причём вышеуказанные два требования равноценны.) 
Доказательство. Действительно, из (163) и (145) непосредственно 
следует, что у = 0 в точке (5, 5) в любых направлениях &х <> (Х тогда и 
только тогда, когда в ней выполняется условие (165). *** 

Далее найдём критерии для идентификации характера безусловной 
стационарности целевой функции у в бинарной точке ($, 5). 

Втривиальном варианте, когдав (164) однородные 2-ые производные 
нулевые, о характере стационарности У можно судить весьма просто — 
по знаку ненулевой вещественной смешанной 2-й производной. 

В более общем случае необходимо определить знак её 2-го полного 
дифференциала 47у в точке (3, $) во всевозможных из неё внутренних 
направлениях (Хх <> (Х. С этой целью вначале преобразуем формулу 
(164) квиду 








2 р. 2 
о (166) 
2х2 9х0х 0х2 % 
2 2 2 
У ао 6 ках = Е (9,6) вк, (167) 
0х? 9%0х дх? 


где 9 есть скалярный директивный параметр (по определению). 


$ 3.3. Экстремумы для функций от одномерных комплексных переменных _ 125 


Поскольку произведение дифференциалов АхаХ > 0, то знак 4?у 
в точке стационарности ($, 5) определяется знаком в ней вещественной 
функции Е (6,0) в формуле (167), но при внутреннем ограничении 
уравнением связи (х, Х) = 0:0 — 1 = 0. Отметим, что директивный 


параметр 0 и его обращённый аналог 9! особо наглядно выражаются 
тригонометрическим способом: 


0 = созф-+1.зшф <> 0=с0зф-1-зшф= 0". (168) 


С целью упрощения последующих выкладок примем обозначения 
для величин 2-ых производных в бинарной точке стационарности: 





02у/0 х?(5, 5) = 5, О?у/0х2(з, з) = 5, ?у/0хд х($, 3) = =. 
Учитывая это, из (166) и (167) далее имеем: 
Е(0,6) = 5 -0+5. 0 +28= Г (8,0) = #(6,6). (169) 


Исходная задача на безусловный экстремум функции у = у(х, х) 
сведена к вычислению условных экстремумов (максимума и минимума) 
функции Е (6,0) с уравнением связи В = Б(х, х) = 6:0 — 1= 0. Решаем 
данную задачу, применяя формальную модификацию метода Лагранжа 


с множителем /, = А, так как в данном случае В =В: 


= (6,6,^.) =#(6,0)-^.. (0.0 —1)=26,6,^); (170) 
ге =5-^.0=0, 
29 (170 


в(0,0)=0.0-1=0. 


Отсюда: А12=+ \/5-5 Е; 012=+5/\/5-5=+/5/5 приз #0 


(случай 5 = 0 обсуждён вначале, причём тогда Ё= 25, т. е. однозначна); 


Рах=2 (2+ ./5-5), 020/00 60 =-м<0; 
(172) 
ш=2: (24/55), 9222/0000 =—-№»>0. 
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Следовательно, в общем случае знак у в точке стационарности 
целевой функции у = У(х, Х) задают знаки величин Ё и и В (167) 
значению параметра 9, = + 5/\/ 5 - 5 отвечает максимум 4. Для 9, из 
угол комплексного сдвига Фф в (168) лежит в одном из 4-х квадрантов 
(если он точно не отвечает какой-либо из координатных осей). С другой 
стороны, значению параметра 0,=-6, отвечает минимум (РУ. Для 0, и-5 
угол комплексного сдвига в (168) равен (ф + п). Соответственно при 
тех же значениях 0, и 0, в (166), (167) дифференциал 4х имеет углы 
комплексного сдвига В, =-— ф/2 и В, =-(ф+л)/2, дифференциал 4х 
имеет углы комплексного сдвига В, = Ф/2 и В, = (ф = п)/2. Определим 
данное явление как эффект расширения 2-го дифференциала скалярной 
вещественной функции у = У(х, х). Эффект имеет место для ненулевого 
дифференциала 4?у при условии 0?у/0х" (5, 8) = 0, т. е. при ненулевых 
би 5. Другими словами, 2-й дифференциал у в точке (3, 5) имеет 
некоторый интервал, задаваемый его границами Ё„иЁ,, при 60 иб.. 

Из вышеизложенного следует: 

Теорема 6. Вещественная целевая функция у = У(х, Х) в бинарной точке 
своей стационарности ($, 5) имеет максимум 2-го уровня, если Ё < 0; 
имеет минимум 2-го уровня, если Ё, > 0; имеет стационарный перегиб 
2-го уровня, если Ё„>0, Ё < 0. Случаи Ё ,=0 (> 0) иЁ, <0 (=0) 
отвечают нестрогому максимуму (минимуму) того же 2-го уровня. 
Следствие 1. Если О?у/0х?($, 5) = 0 <> 07у/0х?($, 8) = 0, то характер 
стационарности функции у в точке (5, $) 2-го уровня однозначно задаёт 
ненулевая производная О?у/дхдх (5, 5). 

Следствие 2. Если О?у/0х0х($, $) = 0 и 0?у/Ох? ($, 5) == 0, то функция у 
в точке (5, $) имеет стационарный перегиб 2-го уровня. 

Следствие 3. Если О?у/Охдх($, 5) > 0, то функция у в точке ($, $) не 
может иметь максимума. 

Следствие 4. Если О?у/ОхОх($, $) < 0, то функция у в точке ($, 5) не 
может иметь минимума. 

Отметим, что для целевых функций у = У(х, х) в отличие от у = У(Х), 
во-первых, экстремумы имеют бинарный характер (т. е. для обеих точек 
вместе ($, $) <> (5, $), или вместе для точек $ =и+ 1-У из =и- 1; 
исключение: $ =$ =1) и, во-вторых, возможны перегибы 2-го уровня. 
Последний факт объясняется тем, что бинарный аргумент обладает, по 
сути, двумя степенями свободы — по чи по у. 
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Из теорем 5 и 6, как важное следствие, весьма просто вытекает 
классический принцип отсутствия максимума модуля аналитической 
(по Даламберу — Эйлеру) комплексной функции 7(Х). Действительно, 
для функции у = у(х,х ) = 7(х)-7(х) = у в бинарной точке ($, 5) её 
возможной стационарности имеют место следующие соотношения: 


а о 
эх = че (8) ^9-[ °) 2(5) =0, 
2 а? — 2 422 2 47 47 
Я^у = —5 (8.265) а“ + —5 6) .7(3) ах +2 ахах. 
4х ах ах ах 


Вариант 1. Если в первом уравнении 7(5) = 0, то во второй формуле 
имеем 4?у(х = $, х, = 5) > 0, что отвечает минимуму у и модуля 7(Х). 
Вариант 2. Если в первом уравнении 7($) = 0, то тогда 47/Ах($) = 0. 
При этом во второй формуле правый член нулевой. Это равносильно 
тому, что О?у/Охд х(з, 5) = 0. Поэтому тут знак 2-го дифференциала 
4?у(х = $, х = 5) обязательно меняется, что отвечает стационарному 
перегибу у и соответственно модуля 7(х) — см. выше следствие 2. 

В итоге отсюда заключаем, что модуль 7(х) не имеет максимума 2-го 
уровня. Доказательство по той же схеме распространяется на любой 
целочисленный уровень стационарности у = У(х, х) = 2(х)-7(Х). 

Для рассмотренного типа задач с одномерными аргументами х и Хх 
ещё не трудно, но и гораздо менее наглядно, получить тождественный 
результат их решения с использованием традиционного вещественного 
дифференциального анализа. Рассмотрим ниже кратко и последний. 


Пусть в формуле (169): 5 =а- 1.6, 0 = с0$ф + 1-5 Ф. Далее имеем: 





Е (6,6) = г(ф) = 2-(а-соз ф + Б-зт ф + 8); 


Енах=2- (+2452), Еш=2- (2-\а2 +52), гдеа += 3.5. 


Эти значения параметров достигаются при { ф = Ма. При дальнейших 
извлечениях квадратного корня получаются два решения для углового 
аргумента функции г(Ф), отвечающие её максимуму и минимуму: 


с0$ ф.2==а/\а? +52, зтф:2=+Ы а2 +52. 


Геометрический смысл углов Ф, и ф, == Ф, состоит также в том, что это 
суть углы комплексного сдвига для значений 5 и 5: 


$= || -(с0$ ф: + 1-51 Ф!), $ = ||. (08 ф! — 1-51 фл) = [$1 (с0$ > + 1-51 ф>). 
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хжжх 


Пример. Продолжим рассмотрение 2-х задач (по примеру 2 из $ 1.9) 


на экстремум пары целевых функций — разности (у) и отношения (у,) 
среднего арифметического и среднего геометрического, но теперь для 


двух комплексных сопряжённых переменных Хх =и +1-Уих=и- 1, где 
и > 0. Обе средние величины суть вещественные и положительные! 


Задачи такого рода при количестве переменных п = 2 решаются 
тривиальным путём: 


У! кт Ух.х =и-\и 


— х+х _ и = 
ь 2./х.х | 


аа + у2 


Отсюда следует, что обе функции формально не ограничены снизу, 
но имеют максимум у, = биу, = | прих =х=\ > 0. Однако такие 
тривиальные способы решения задачи при П > 2 не реализуются. 

Аналитический способ, напротив, и в данном случае тоже является 
универсальным, т. е. может применяться при любом п > 2К. Здесь же 
он демонстрируется на примере частной конкретной задачи при п = 2. 
Причём для упрощения, в силу положительности вещественной части 
сопряжённых переменных Х их (и > 0), в целевых функциях у, иу, 
применяются квадраты средних величин. 


х+х 2 2 х-х 2 
1 чи = [ 5 - (=) -( 


2 


























— _ ау: _[ у, 9У, | _ х х_ > 
= [28.29 (1/2(х-х),1/2(х-х))=0 > 


> м=$' = (хх °), х=х"=и>0, у1($) =0; 








2 р: 2 1/2 1/2 
а 2 х — 
@=а(\) = и в — —_ = = Сопз(. 
@М | 0^у 0“у Иа: 412 
охох дх2 


Обратим внимание здесь на то, что матрица Гессе С вещественная! 
Но сразу идентифицировать характер стационарности функции у (х, х) 
в точке стационарности исходя из значений вещественных параметров 


в ней 1 С = 1/2 + 1/2 =1>0и де С = 1/4 - 1/4 = 0 пока невозможно. 
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Конкретно можно только оценить, что при этих значениях данных 


параметров в её окрестности поверхность у (х, х) полувыпуклая: 


2 2 2 
Ре И т 
9х2 охох 2х2 


= 4? +2вахк +34? =1/2-(%? -2ахж+ах*)= 


2 
-[2=“* = (1-у) =-у? <0. 


Более общо имеем: 


Рлах=2. (© +\5-5)=2. (-1/2 + 1/2) = 0, 


о-в ео ед, 





Согласно теореме 6, отсюда вытекает, что целевая функция у (х, Х) 
имеет на @ нестрогий максимум на биссектрисе 1-го квадранта, т. е. при 
Хх = Хх’ => 0. Соответственно матрица Гессе О вырождена именно 
вдоль этой биссектрисы. Поверхность у (х, Х) в целом полувыпуклая. 


2) у, Е) (2) 
2 Хх х 
Е=8(%) = и: [22.2 (ок-киоаи4-[к-мяа} -05 


М =.” х-х’=0>0, у)-=Е 

















9? 92 
4? 2 0хдх 
= 2 2 - 
@\' № | 50° 0“у 
х/ 2х3 174 их? +05?) 
_ 4. их? +2 х/ 2х3 


Обратим внимание на то, что а симметричная, а не эрмитова! 
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2 р 
Г о БВ. 
0х? бхбх 0х? 


=з4х? +2вахж+зах” = 
=1/2.| (5 / хх? а +их2)а хак + (х/Х?) 4х. 
Откуда имеем: 


а =2.(2+\5-5) =-1/2.@/х-1/х)? >0, 
Ен =2-(@-\5-5) =-1/2.(1/х+1/Х)? <0. 


Согласно теореме 6, отсюда следует, что и в этом случае целевая 
функция У.(х, Хх) имеет на @ нестрогий максимум на биссектрисе 1-го 
квадранта, т. е. при х* = х* = 1 > 0, где матрица Гессе С вырождена, а 
поверхность у.(х, Х) локально полувыпуклая. Но вне биссектрисы (!) 
та же поверхность у.(х, Х) в пределах 1-го квадранта имеет повсюду 
седловинную форму. Исключением является только центр координат, 
в окрестности которого поверхность стремится к вещественной оси 
ординат (у, < 1). 

Особо здесь отметим, что в отличие от ранее рассмотренного случая 
с вещественными аргументами х, их, (пример 2 в $ 1.9), где целевые 
функции у, и у, принимали на биссектрисе 1-го квадранта нестрогий 
минимум, в этом случае — при комплексных сопряжённых аргументах 
хих (и>0) обе целевые функции У, и у, также на биссектрисе 1-го 
квадранта принимают нестрогий максимум!!! Этот вывод, в частности, 
имеет применение в теории алгебраических уравнений (см. гл. 4). 

Рассмотренная выше весьма замечательная вещественная двумерная 
поверхность у,(х, Хх) на оси @ (как на исевдоплоскости!) дополняется 
симметричным отражением в 3-м комплексном квадранте, где средние 


величины от Х и Х формально отрицательные. Действительно, Ё, 


х 


иЁ можно трактовать как значения та относящиеся именно к этим же 


шш 


двум формально возможным решениям для стационарности функции 








у.(х, Х), т.е. х*=хХ? относятсяикх =х=цикх = -Х = 1У. Эти решения 
отличаются только на угол своего комплексного сдвига п/2. Поэтому, 
как на вещественной биссектрисе 1-го квадранта, так и на мнимой 


биссектрисе 3-го квадранта функция у, имеет нестрогий максимум. 
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Итак, решение данной частной задачи рассмотрено теперь в полном 
объёме. Изложенный выше общий аналитический подход может быть 
использован для анализа и решения более сложных задач на экстремум 
вещественных целевых функций, у которых аргументы наиболее общо 
могут принимать как комплексные сопряжённые, так и вещественные 
значения. Яркими примерами таких функций являются коэффициенты 
вещественного алгебраического уравнения (суммы Виета) и полные 
суммы степеней их корней (суммы Варинга), см. далее $$ 4.1 — 4.4. 


$ 3.4. Экстремумы для функций от пары независимых 
многомерных комплексных сопряжённых переменных 


Для решения задач на безусловный экстремум целевой функции у от 
многомерных переменных Х и х вещественный анализ практически не 
пригоден. Напротив, формальный анализ позволяет решать такого типа 
задачи, сохранив подход и мнемоническую аналогию с изложенной 
выше процедурой решения задач с одномерными переменными х их. 

Для вещественной скалярной функции у = У(х, х) имеем её полные 
и частные формальные дифференциалы 1-го и 2-го порядков: 








А отв (173) 
ох ох 
2 2 > 20 — 
а2у = в У +2" У ах Е, (174) 
0х'0х 0х*0х 0х 0х 


Здесь частные смешанные дифференциалы у суть вещественные. 
Теорема 7. Вещественная функция у = У(х, х) стационарна в бинарной 
точке ($, $) тогда и только тогда, когда 





у, — у, — 
$,5)=0 <> $,$) =0. 175 
2 ) 2 ) (175) 


(Причём вышеуказанные два требования равноценны.) 
Доказательство. Действительно, из (173) и (157) непосредственно 
следует, что у = 0 вточке ($, 5) в любых направлениях Ах <> (Х тогда и 
только тогда, когда в ней выполняется условие (175). *** 

Далее найдём критерии для идентификации характера безусловной 
стационарности целевой функции у в бинарной точке ($, $). 

В самом тривиальном случае, когда в (174) однородные 2-ые тензор- 
производные нулевые, о характере стационарности У можно судить 
весьма просто — по знакоопределённости ненулевой эрмитовой (!) 
смешанной 2-й тензор-производной. 
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В более общем случае необходимо определить знак её 2-го полного 
дифференциала 47у в точке ($, 5) во всевозможных из неё внутренних 
направлениях Ах <> 4х. Вначале преобразуем формулу (174) к виду 











50 = 2 Е 
а > |=). У = (176) 
0х0х % —о0хох \ЧХ/ охох 
2 2 я 
Ев ИЕ: И В (177) 
ох ох 9х*0х ох 0х 


= ах* р о" ах = 4х" в" (6 6} 4, 


где 0 есть пхп-матричный директивный параметр (по определению), 


причём ее 9 = 0. Выясним его матричную природу. Имеем: 


ах=бах > х=0ах=0-0 ах > ах=0.0 ах <> ах=0-0 ах. 





Так как Дх по направлению произволен, то 0.0=0.0 =Т. Имеем: 
Я =вах—ах"= ах'0’, дах = ах*ах = ах 0'.0 ах=ах* 6*. 9 ах. 
Так как АХ по направлению произволен, то 0*.0=0.0“ =1. 


Отсюда вытекает, что 9 = 9’ — симметричная унитарная матрица. 
9 и0 имеют диагональную форму в общем комплексном декартовом 


базисе ВМ . Е; ‚ ш=О'х= Ох, КО =О0"=1 Причём Ч = ПИ’. 
[9х] = Фав {0} дц, = [окац,] <> [Чак ] = Фав {6} а, = [6.4 ]. 
Поскольку в (177) ах’‘ах > 0, то знак Фу в точке стационарности 


($, 5) задаётся знакоопределённостью в ней же эрмитовой матричной 


функции Е(@, 0”) при имеющемся внутреннем ограничении 0". 0 = 1. 
Для упрощения дальнейших выкладок примем обозначения: 


6?у/6х' 0х3, 5 )=5$, 0?у/0х'0х(5,5)=5, бу/Ж 2,5 )=О=0°. 
Далее имеем: 


Е (0,0°)=5.0+0'.$+26=Е (0',0)=Е(0’, 0). (178) 
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Эта эрмитова пхп-матричная функция от переменных 6 и 09" должна 
при каких-то их значениях обеспечить условные максимум и минимум 
2-го дифференциала в (177). Возникает вспомогательная задача, как 
и в$ 3.3, вычисления условных экстремумов (максимума и минимума) 
скалярной функции со скалярным уравнением связи внутреннего типа: 


42у(, 0”) = ах Е(0, 0°) ах = ехи, 
(179) 
н(@,0°) = к 0.0 рх=0. 


Данную вспомогательную задачу решаем, используя формальную 
* 
модификацию метода Лагранжа с матричными переменными @ и 0", 


з — 
а также с матричным множителем А=лЛ › Так как при этом в = В. 


г = 2 [6,9",^)- [(6.5")-[6' 59-1}: ^|-2- 25. ел) (180) 





[25] =4' (5-0-^)&=0, 
20 )1, 


(А=Л”) (181) 
в (0, 0”) = и (6° ‚9-4 =0, 
Отметим, что в этом случае тензор-производная от скалярной функции 


КА > * „. 
Лагранжа по матричной переменной 9” берётся слева! Отсюда при 
несингулярной 5 непосредственно следует: 








$=0.л=5’, $=0.^=5'=Л".0'=Л.6”, 
$.$=Л.0'.0.Л=Л?=(5.5) -» Л,2==\5.5; 





к! 52 Е 
@12=3.А 2 =+$5. 5.5 он и. .$ (при 4еЁЗ = 0). 


Из этого непосредственно видно, что 0.0 =0.6 = [. Кроме того, в силу 


коммутативности комплексных матриц $ и $ ($ и$ '), отсюда же 
видно, что 0°.0=0.0“ =Т. 

Обратим особое внимание на то, что при вычислении А берётся 
арифметический корень из эрмитовой положительно определённой 
матрицы, т. е. так, чтобы Л, и Л, были маргинальными (положительным 
и отрицательным) корнями! Далее имеем: 
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{ак Е (0,0) тах = 4х Е (91,01 ) х= 4х Ег Ак, 
(182) 
{4 Е (0,0) пи = К Е (0,05 ) 4х = ах Ро ах; 


Е: =2.(<+\5.5), 220/00'00=- Лим <0; 
(183) 
Е =2.(<-\5.5), 224/00'00=-ах Ао ж>0. 


В окончательном виде формулы для 2-ых дифференциалов и для их 
матриц Гессе универсальны и справедливы даже при сингулярной 5 
(поскольку вычисляются произведения типа 5:0). При $ = 7: Е = 20, 
т. е. вполне однозначна. Полученные решения обладают симметрией: 
при замене в самом начале Ах на 4х и АХ на Ах получаем аналогичные 
эрмитовы матрицы Гессе Е =2.(( +-/3-8) и Е =2.(( ЗВ, 

Следовательно, знак 4? в точке стационарности целевой функции 
у=У(х, Х) задают знакооопределённости маргинальных матриц Е, иЕ.. 
Это есть всё тот же эффект расширения ($ 3.3) 2-го дифференциала 
скалярной вещественной функции у = У(х, х). Эффект имеет место для 
ненулевого 4?у при условии д ?у/0х'Ох = 7. 

Из вышеизложенного следует: 

Теорема 8. Вещественная целевая функция у = У(х, х) в бинарной 
точке своей стационарности ($, $) имеет максимум 2-го уровня, если 
Е, отрицательно определённая; имеет минимум 2-го уровня, если 
Е, положительно определённая; имеет седловину 2-го уровня, если 
Е, иЕ, обладают хотя бы двумя собственными значениями разного знака. 
Случаи, когда они имеют в совокупности нулевые и отрицательные 
(нулевые и положительные) собственные значения отвечают нестрогим 
максимуму (минимуму) того же 2-го уровня. 

Следствие 1. Если 0?у/Ох'Ох(5, 5) = 7, <> 0?у/0х'0х($, 5) = 7, то характер 
стационарности функции у 2-го уровня однозначно задаёт ненулевая 
0?у/0х'дх($, 5). 

Следствие 2. Если О’у/Ох'Ох($, $) = 7, и 0?у/Ох'Ох($, 5) = 7,, то функция у 
в точке (5, $) имеет стационарный перегиб 2-го уровня. 

Следствие 3. Если О?у/0 х’д х($, $) положительно (полу)определена, 
то функцияу в точке ($, 5) не может иметь максимума. 

Следствие 4. Если д?у/0 х”д х($, $) отрицательно (полу)определена, 
то функцияу в точке ($, 5) не может иметь минимума. 
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Изтеорем 7 и 8, как следствие, вытекает общий принцип отсутствия 
максимума модуля аналитической (по Даламберу — Эйлеру) векторной 
комплексной функции 2(х), где х есть 4х1-вектор в @4, д есть пх1- 
вектор в @"; гап2{42/Чх} = 4 < п. (Это значит, что линеаризация, или 
касательная плоскость (х) для данной векторной функции в @" имеет 
размерность 4.) Действительно, для у = У(х, х) = # (х)-2(х) = У имеют 
место соотношения в бинарной точке её возможной стационарности: 


* 











ду 42 
=| — ($) | -7($) =0, 
дх [6 6) 
2 И. 2 
Фу=а р (3) Ж+ах ина И 
дхдх дхдх дх’дх 
'(1<>3) ——_\@23) 
о с 
= ах Ее к-ах м Ах+ 
ахахп пх! ахахп пх! 


* 
«| [ 92 47 
+24. — ($) |. — ах. 
х БЫ гой 
ахп пха 


Вариант 1. Если 7($)= 0, то 4?у(х=$,х=5) > 0, так как эрмитова матрица 
2-й смешанной тензор-производной С положительно определённая или 
полуопределённая, что отвечает минимуму модуля 7(х), в том числе 
нестрогому. 

Вариант 2. Если 2($) = 0, то при этом 7($) е (Кег{42/Ах($)}”) и, 
в частности, 47/4х($) = 7. Тогда целевая функция У в точке ($, 5), 
в силу следствия 3 теоремы 6, не может иметь максимума, так как 2-я 
смешанная тензор-производная @ положительно определённая или 
полуопределённая. 

До сих пор в данной главе рассматривались, как основные, задачи 
безусловной оптимизации целевых функций от парных комплексных 
сопряжённых переменных, т. е. без какого-либо ограничения на область 
их изменения в комплексном координатном пространстве. Для большей 
целостности это исследование необходимо дополнить рассмотрением 
задач условной оптимизации тех же целевых функций с двумя типами 
ограничения на переменную — внешним и внутренним. 
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$8 3.5. Условные экстремумы для функций 
от ограниченных внешне комплексных переменных 


В данном параграфе пх1-вектор Х играет роль внешне ограниченной 
переменной, подчиняющейся уравнению связи В(Х) = 0, В(хя(Х)) = 0. 


Причём В = В(х) Е @" есть комплексная аналитическая пх1-вектор- 
функция (11 < п), однозначно определённая на множестве @"; при этом 
тапз { ЧВ/Ах} = т < п. Уравнение связи задаёт некоторое компактное 
подмножество в @", или некую геометрическую поверхность (Х) < @" 
размерности а=п-—1т. Исходной функции ограничения И = В(х) взаимно 
однозначно соответствует комплексно сопряжённая функция В = В(Х. 


Очевидно, что В(х) и В(х) принимают все свои нулевые значения на 


бинарном компактном подмножестве ((Х) < (х)) < @". При оговорённых 
выше требованиях к вектор-функции ограничения это подмножество 
есть бинарная, формально гладкая и регулярная (причём порядка 
гладкости и регулярности не менее двух) комплексная геометрическая 
поверхность размерности 4 < п, вложенная в комплексное аффинное 
координатное пространство @". 

Далее ставится задача поиска и идентификации характера условного 
экстремума функции У(х, Х) на бинарой Ч-поверхности ((%) ‹/ (Х)), 
заданной посредством внешнего ограничения на переменную И(Х) = 0. 
Суть задачи состоит в поиске экстремума целевой функции на гладкой 
и регулярной комплексной 4-поверхности в аффинном комплексном 
пространстве, заданной функционально внешним ограничительным 
способом. 

Для решения поставленной задачи применим наиболее подходящую 
здесь клеточную модификацию метода Лагранжа и метода условных 
тензор-производных из $ 2.3, с учётом операций формального анализа. 
Принимая, что векторы х их, Ни В — аналитически независимые 
характеристики в этих обеих парах, представим соответственно саму 
процедуру и само искомое решение поклеточно в двухблочной форме. 
Напомним тут (см. начало $ 2.2), что при дифференцировании по Х 
последняя понимается обычным образом как свободная переменная, 
т. е. как изменяющаяся от своего значения в любой точке множества (Х) 
во всевозможных направлениях в координатном пространстве @". Далее 
для большей наглядности параллельно применяются и метод Лагранжа, 
и проективный метод условных тензор-производных. 
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Проективные формулы, как аналоги формул типа (74), для условных 
дифференциалов внешне ограниченных парных переменных Х и Хх 
имеют схожий вид: 


' 


—> > 
ах = 9 в д < ах= ой и ах. (184) 
ах 9х ах 





Первый проектор осуществляет аффинное проецирование в @" на 
ядро (Кег АВ/ЧХ) параллельно образу (пп ЧВ/АХ),. Второй проектор 
осуществляет аффинное проецирование в @" на ядро (Кег @В/ах) 
параллельно образу (ип ав/ах). Это по-прежнему симметричные, 
причём адекватно, комплексные проекторы (см. $ 3.1). В комплексном 
евклидовом пространстве эти проекторы проецируют ортогонально на 
ядро матрицы Якоби, т. е. на д-поверхности ограничения (Х) и (Х). 

Формальная модификация метода условных тензор-производных 
(из $ 2.2) даёт систему векторных уравнений — аналог системы (77): 


—> 
[265-285 ЕЯ 326 |-0} [28590]. 085 
в(®)=0: 


Ей же отвечает тождественная комплексно сопряженная система. 
Любая из этих 2-х систем даёт как решение бинарную точку условной 


стационарности ($, $). Оба вектор-множителя Лагранжа вычисляются 
обычным образом как в (83), с учётом их комплексного сопряжения: 


1 
м Я: =А, 2 =А. ро 


В 
Функция Лагранжа имеет вид: 


р= сх, ^^) = (ях) -[^-в) +^-в(® |= 2ьх,^,^). (187) 


Формальная модификация метода Лагранжа даёт систему — аналог (85): 





22 .= ду -- В 
$,$) = $$) -Л.: $) =0 
25 ®8) 25 ®8) с ® нь 
—- (5,5) #0 |. (188) 
ВР Ох 
——=-В(®) =0; 
©, 
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С учётом отсутствия аналитической взаимосвязи пары переменных 
Хи, характер условной стационарности в бинарной точке ($, 5) можно 
установить простым путём — через формальный анализ 2-го условного 
дифференциала функции Лагранжа (187): 


[к -8 = Ал)|- 4% $4х+2а“Сах+ах За = 


=аЗ4+24“бах+ах Зах, (189) 


где применяются следующие обозначения для условных матриц Ио: 














> > 
ь | 2 ы ыы 
5= [#6] 1 че 6,5 [1 1) =5, 90) 
ь 0% 5% ах 4х 
— 
ава | в) @а_|_-* 
ЕО «| -в [1] =®|=6. 095 


Далее по аналогии с преобразованием (176) -> (177) 2-й условный 
дифференциал функции Лагранжа приводится к эрмитовой форме: 


[роб-ьз-вл.] = 56-6 $26 (192) 


Два крайних значения матричного параметра отвечают маргинальным 
положительным и отрицательным арифметическим корням из 5. 5 : 


6, 2 - 15.55 5.5 И 3.51 =+\/3-.5 при её $ = 0. 


Выводы о характере условной стационарности делаются в соответствии 
с формулировками теоремы 8 анализом маргинальных функций: 


Е -2.(6+\.3), В-2.(@- №8). 


Отметим, что для скалярных функций у = у(х, Х) при внешнем 
характере ограничения на бинарную комплексную переменную, как и 
для скалярных функций от вещественной переменной у=У(х), истинные 
условные экстремумы и перегибы возможны лишь при числе измерений 
более 1. Это следуетизвышеприведённого анализа, где непосредственно 
проявляется и используется адекватная комплексификация ($ 3.1). 
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8 3.6. Условные экстремумы для функций 
от ограниченных внутренне комплексных переменных 


В этом параграфе пх1-вектор Х играет роль внутренне ограниченной 
переменной, подчиняющейся вещественному уравнению связи особого 
типа В(Х, Х) = В(х, х) = ЩХ, ® = 0; В((х, ХЕ (Х, Х)) = 0. Причём 
В = Б(х, х) Е @" — неголоморфная тх1-вектор-функция (т < п), 
однозначно определённая на множестве @ ` и, по крайней мере, дважды 
формально непрерывно дифференцируемая по переменным х и х; при 
этом гап?{ОВ/ох} = гап2{0 В/0х} = т < п. Уравнение связи задаёт 
некоторое компактное подмножество в @", или некую геометрическую 
поверхность (х, Х) < @" размерности 4 < п, ге а = п — №. При 
оговорённых выше требованиях к вектор-функции ограничения данное 
подмножество есть бинарная формально гладкая и регулярная (порядка 
гладкости и регулярности не менее двух) комплексная геометрическая 
поверхность размерности 4, вложенная в комплексное аффинное 
координатное пространство @". 

Далее ставится задача поиска и идентификации характера условного 
экстремума функции у = у(х, Х) на бинарной -поверхности (Х, х, 
заданной теперь посредством внутреннего ограничения на переменную 
Ь(х, х) = ВС, Х) = 0. Суть этой задачи состоит в поиске экстремума 
целевой функции на гладкой и регулярной комплексной 4-поверхности 
в аффинном комплексном пространстве @", заданной функционально 
внутренним ограничительным способом. 

Проективные формулы, как аналоги прототипов (74), для условных 
дифференциалов внутренне ограниченных переменных Х и Х имеют 
схожий вид: 


' ' 


а&= ОВ т ах <> ах= ов 7 ах. (193) 
Ох) ох ох) ох 





Причём первый проектор осуществляет аффинное проецирование 
в @"на ядро (Кег ОВ/ОХ) параллельно образу (ип ОВ/ОХ)„. Второй 
проектор также осуществляет аффинное проецирование в @", но на 
ядро (Кег ОВ/ОХ параллельно образу (пп 0Ъ/0х). Это суть адекватно 
симметричные комплексные проекторы ($ 3.1). В комплексном евклидовом 
пространстве данные проекторы ортогонально проецируют на те же 
ядра сопряжённых матриц Якоби. 
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Формальная модификация метода условных тензор-производных 
(из $ 2.2) даёт систему векторных уравнений — аналог системы (77): 


— 
555-263. [№55]. 65-6 | (256 
[265-25 Е — ($, 5. 20) 0, [265] (194) 
в(х,х)=0; 


Ей же отвечает тождественная комплексно сопряжённая система. 
Любая из этих 2-х систем даёт как решение бинарную точку условной 


стационарности ($, $). Оба вектор-множителя Лагранжа вычисляются 
обычным образом как в (83), с учётом их комплексного сопряжения: 


9 „>. ОВ но В Е. ^ 
: -5769 [163], д: ня (195) 


Функция Лагранжа имеет вид: 
= 0 (х,%,^,^)=У(%х)-(^-^)-в(,х) = 2(,х,^,^). (196) 


Формальная модификация метода Лагранжа даёт систему — аналог (85): 





в. Уи -0 
с . (Ув + 0). (197) 
РУ г 9х 
92 0, 
д. 


С учётом отсутствия аналитической взаимосвязи пары переменных 


Хи Х характер условной стационарности в бинарной точке ($, 5) 
можно тут установить простым путём — через формальный анализ 2-го 
условного дифференциала функции Лагранжа (196): 


[са = я = ФА.) -ЧЕЗа+2ая" вая ча Зах = 


— Зак +2 *бакчтах бах, (198) 


где применяются следующие обозначения ДлЯ о матриц 5иО: 
> 


\ 2 
5 (аз) паз) —- ки 5] ыы ж -=5, (199) 
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Далее по аналогии с преобразованием (176) -> (177) 2-й условный 
дифференциал функции Лагранжа приводится к эрмитовой форме: 


об ЯЗВА) |6 $.0+6 .5+24 к. (201) 


Два крайних значения матричного параметра отвечают маргинальным 
положительным и отрицательным арифметическим корням из |5 . 5 : 


= 
6, > = 8.18.5 ==\5.5' =#3 1.5 при 4ее $ = 0. 


Выводы о характере условной стационарности делаются в соответствии 
с формулировками теоремы 8 анализом маргинальных функций: 


В =2.(@+\5.5) и Е=2.(@-\5.5). 


Причём особо отметим, что при внутреннем характере ограничения 
в этих задачах условный экстремум целевой функции возможен даже 
с одномерной комплексной переменной, заданной на комплексной оси 
или на каком-либо её замкнутом интервале, т. е. для функции у = У(х, Хх) 
при ограничении Б(х, х) = 0. Это весьма существенно отличает решение 
задач на условные экстремумы на вещественных и на комплексных 
координатных пространствах. Причина данного парадокса — удвоение 
числа степеней свободы для комплексных переменных. 


$ 3.7. Экстремумы для функций от вещественных 
и комплексных сопряжённых переменных 


В самом общем случае, когда целевая функция зависит отсмешанных 
(вещественных и комплексных сопряжённых) переменных, процедура 
решения задачи на экстремум функции вида у = у (г, х, х) = \и(\) на 
первом этапе, т. е. нахождения точки или области её стационарности, 
вполне обычная: 





бу 6 2-0 

"-[5. у у > @ (202) 
ам \дг ох ох 25 _ 0 
#х _ 


Отсюда вычисляется точка стационарности У = ($, $,, $,). 
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На втором этапе решения, т. е. при идентификации стационарности 
в данной точке, предварительно находят симметричную комплексную 
матрицу Гессе в нижеуказанной 9-ти блочной структуре: 


9?у 92у 92у 
дг’дг огох дох 5 АА : 
а`у 62у 6?у 52 а`у 
там | 2хбр 0кох 2жх0х| | Аж 3 бб» | | мам 
22 062у 2?у _ 
2х'’бг 0х0х дх'0х 8% ах 























Коэффициенты её векового (характеристического) уравнения суть 


вещественные числа. Оно даёт п, вещественных и 21, комплексных 
сопряжённых собственных значений ы.. Согласно адекватной аналогии 
(см. $ 3.1), преобразование матрицы Гессе (203) к диагональной форме 
осуществляет некая комплексная адекватно ортогональная матрица В, 
имеющая такую же 9-ти блочную структуру. Для упрощения процесса 
анализа знакоопределённости комплексной матрицы Гессе (203) нужно 
её привести неким модальным преобразованием В, к промежуточной 


2-х клеточной форме с переходом в базис Е, =К]2 Е) | 








5 д и 
а?у _ В Е 4?у 
ам'ам |_ 79-5! ам’ | › (204) 
2 _ Е› 
д о 5 


, ' * 
где 5, = $, составляет 1-ю клетку, $ =5 , @ =С образуют 2-ю клетку. 
Далее квадратичная форма, соответствующая новой матрице Гессе, 
разбивается на две независимые квадратичные формы по 2-м клеткам— 
вещественной и комплексной: 








2 2 
а м 
"ОУ Он 'ОЕ 
2 2у 22 
—| а" +24“ @&+ах —^ аж |= (205) 
9х1 Хх 9х1“ 9х| 9х! 9х1 


—- ап’ $1 ав + 4$ 41 +24" СФ +ах, Зах (206) 
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Затем квадратичная форма 2-й (комплексной) клетки матрицы Гессе 
преобразуется в эрмитову форму с использованием ранее изложенной 
в общем виде процедуры ($ 3.4). В итоге получается представление @?у 
в точке стационарности \\ = ($, $,, $,) в виде алгебраической суммы из 
квадратичной и эрмитовой форм; причём эрмитова форма—с эффектом 
расширения 2-го дифференциала ($$ 3.3, 3.4): 


а?у- ак’ $1 ак + кг (5-0+0° :$+24 а ь (207) 
= дн’ $, 1 и +!" Е 6" а. (208) 


Нижеуказанные маргинальные эрмитовы матрицы-функции Н,иН,, 
содержащие в своей 2-х клеточной структуре полученные ранее в $ 3.4 
маргинальные матричные функции Е, иЁ,, имеют ту же 2-х клеточную 
форму, удобную для оценки знакоопределённости 2-го дифференциала 
целевой функции 4?у в точке её стационарности У = ( $, 8,5), а, 
следовательно, и идентификации характера её возможного экстремума 
2-го уровня: 


ВИ Нь И 
Н, = ‚ Н= (209, 210) 
72 Е 7 в 


Таким образом, полный анализ вещественных целевых функций, 
задаваемых на комплексных и смешанных вещественно-комплексных 
координатных пространствах, с целью нахождения и идентификации 
характера их безусловных и условных экстремумов может выполняться 
достаточно наглядно и довольно эффективно методами, изложенными 
в данной главе. 
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$ 4.1. Генеральное неравенство для средних величин 


В общей и линейной алгебре применяется ряд неравенств типа [45]: 
<) > Б®), Вх, х2) > Вх, х›), Бу» хо, хз) > Е(Х |, Х›, ХЗ) ИТ. Д. 
В них обычно заключается какой-либо алгебро-геометрический смысл. 
Доказательство этих, по сути, функциональных неравенств возможно 
осуществлять, в принципе, с применением дифференциального метода 
поиска и идентификации безусловного экстремума целевой функции от 
одной или нескольких векторных переменных. Например, для полного 
доказательства первого из указанных неравенств необходимо пройти 
следующие этапы: 

1) доказать, что некоторое <Ъ) есть область стационарности функции 
Е) = Е ®/Ь(®, причём Ё/›() = 1; 

2) доказать, что эта стационарность есть минимум функции #1 (Х); 

3) доказать, что этот минимум имеет глобальный характер. 

Пункт 3, например, можно обосновать тем, что Ё\›(х) непрерывно 
дифференцируема на области © " < <" своего определения, а #/›(6)— 
единственно возможное стационарное решение на этой области. 

В качестве весьма важного примера рассмотрим далее формулировку 
и доказательство генерального неравенства для средних величин. 
Ранее оно уже было сформулировано и доказано в целом в монографии 
автора [27]. Как будет показано в последующих двух параграфах, это 
неравенство, помимо применения в теории средних, имеет приложения 
к теории алгебраических уравнений степени п и к теории пхп-матриц. 

Напомним, что в конце $ 1.9 в качестве довольно яркого примера 
было приведено доказательство классического неравенства Коши для 
средних арифметического и геометрического при П = 2 аналитическим 
способом — дифференциальным методом. Этот подход в самом общем 
виде применяется ниже для доказательства генерального неравенства в 
форме иерархии полного ряда средних величин. 
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В теории матриц весьма важны положительно определённые ранга п 
симметричные (эрмитовы) пхп-матрицы В. Они имеют положительные 
разнообразные, но связанные друг с другом скалярные инварианты. Это 
характеристические коэффициенты К(В, ©) — суммы детерминантов 
диагональных (-миноров В; это характеристические следы В. 
Они же суть суммы Виета порядка { и суммы Варинга порядка 0 для 
собственных значений |1, матрицы В — корней её векового уравнения. 
(Причём с положительным знаком слагаемых во всех этих суммах!) 

Совокупность из П положительных чисел может рассматриваться 
либо абстрактно, либо конкретно, например, как множество корней х; 
алгебраического уравнения степени П или как множество собственных 
значений |1; для пхп-матрицы В (с их положительным спектром). 

Для совокупности из п вещественных положительных чисел (|;) 
определим специальные характеристики — средние алгебраические т; 


(малые медианы) и средние степенные Мф (большие медианы): 


п 
п =М. =Уц;/п=иВ/п, 
| (211, 212) 





= + 1 
ян = Кн) / С° - У кв,0/сь, (213, 214) 


те 0 0 
Ме=9 Боб та =Фив®/п, (215, 216) 


где черта сверху обозначает усреднение; К(ы) =К(В, ©) — суммы Виета, 
Вод) = иВ*— суммы Варинга, п размер совокупности ( из} или размер 
пхп-матрицы В, фи 60 — порядки соответствующих средних величин, 
например, т; и Ме. Кроме того, ©. обозначают, как общепринято, 
биномиальные коэффициенты Ньютона. (Отметим, вместе с тем, что 
среднее арифметическое 11 = Муесть пересечение множеств средних 
алгебраических т и средних степенных Ме.) 

Иногда в литературе п; называются средними симметрическими 
(хотя, в принципе, все рассматриваемые средние по своей структуре — 
симметричные). Используемая здесь классификация средних величин 
исходит из их применения в алгебре и геометрии [27]. Заметим также, 
что некоторые элементы |; > 0 могут совпадать между собой. Случай, 
когда некоторые из элементов нулевые, может представлять отдельный 
интерес для знакополуопределённых матриц (и, > 0). 
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Если же нулевые и; отсутствуют, то могут быть весьма полезными 
реверсивные аналоги малых и больших медиан, которые определяются 
как соответствующие реверсивные средние величины: 


—1 








>. п —1 
У, =\ = У ы! / п = кв” т) й 

1= (217, 218) 
У, кант «Авт 9 си , (219, 220) 
ты _0 —1 —60 —_ 
Ув = Я ппобы )/п = 9 В б/п. (221, 222) 


Фактически они получаются как обращённые средние от обратных 
исходных элементов ы 1 и также являются средними величинами. 
Например, с физической точки зрения их размерность инвариантна. 
(Отметим, вместе с тем, что среднее геометрическое ти = М есть 
пересечение множеств средних алгебраических 1 и их реверсивных 
аналогов, а среднее гармоническое У\/ = \\ есть пересечение множеств 


реверсивных средних алгебраических У; и средних степенных \б.) 


Теорема 9 (о средних). Для какой-либо совокупности п вещественных 
положительных чисел (х;), в которой хотя бы одно число отличается 
от другого, имеет место генеральное неравенство для средних величин, 
охватывающее всю область данной совокупности, а именно: 


тах (х;) = М. >... > Ме >... > М, = (223) 
= м >...> Шр>...> Ш, = (224) 
= \ >...> \ >...> м = (225) 
= М > № > У = ии (226) 


((=1,...,п;0=1,... ‚ 59). 

Знак равенства, причём сразу для всех этих средних величин, имеет 
место тогда и только тогда, когда х| =... =х,. Если бы данная исходная 
совокупность (х,) содержала $ = п — г нулевых чисел х‚, то тогда цепь 
неравенств вырождалась справа в нулевые равенства, начиная с т;.-1, 
аслева все средние величины оставались ненулевыми. 
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Например, для множества (д;) любой спектрально положительной 
пхп-матрицы В предельные медианы совпадают с её экстремальными 


собственными значениями! Поэтому, например, тах (и;) называется 
в литературе [25] спектральным радиусом матрицы. В пределе имеем: 


тах (Ц;) = Нт М6, 

0-е (227) 
тт (№: = В Уб 

А (228) 

Далее рассмотрим полное доказательство сформулированного выше 

генерального неравенства для средних величин в целом и его анализ. 
Для этого применим аналитический дифференциальный метод поиска и 
идентификации характера экстремума целевых функций от нескольких 
скалярных переменных. (Основная идея этого доказательства уже была 
продемонстрирована в решениях задач на примерах 4 и 5 из $ 1.9.) 





Доказательство. Определим 8 целевых скалярных функцийги В, ГиЕ 
для разности и для отношения соответствующих пар средних величин 
исходя из некоей совокупности вещественных положительных чисел Х; 
(где! = 1, п), задаваемых также геометрически в < #1 радиус-вектором 


х=(х,,....Х,) в 1-м квадранте аффинной системы координат Е: 
ва (х) = м: (х) - мы, (229) 
га (х)=@<®-т, (9, (30) 
Ни) = п: (® / мн (®, (231) 
41} (<) = м, (х) / м (Х, (232) 
&] 98 (х) = Ме+1(%) - Мо, (233) 
®® (*) = М -М! (х), (234) 
961} (х) = Моб) / Мо. (235) 


(236) 
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Функции ги В, Ги Е имеют общее и единственное стационарное 
значение — соответственно (0 и | на заданной области в с своего 
определения с аргументом-решением в форме центрального луча (6 )— 
биссектрисы 1-го квадранта в аффинном базисе Е (это геометрическое 
место точек равенства всех положительных координат). Такое решение 
отвечает нулевым градиентам всех 8 целевых функций: 








г’(ъ) =Р() = В”) =Е”) = 0, (237) 
где Б — любая точка этой биссектрисы, т.е. х, =... =х, = Ъ. В этих же 
точках имеем стационарные значения целевых функций: 

г(ь) =В()=0, К) =Е®Ф) = 1. (238) 


Это суть минимумы всех целевых функций, так как их матрицы Гессе 
на биссектрисе (Ъ) положительно полуопределённые ранга (п — 1): 


ав) ига в) -ь-г Ч) -ь--9-Е Ч = 


р. (239—246) 


где К определяется как тотально-единичная матрица, все 02 элементов 


которой равны 1. Детерминанты главных миноров С порядкаг < п: 


гу п-г 
. >0. (247) 


1:5] п 





Нетрудно видеть, что матрицы Гессе всех 8-ми целевых функций 
вырождаются вдоль биссектрисы (6) — линейного подпространства 
размерности 1. Функции Ги Е, т.е. отношений средних величин, на 
биссектрисе постоянны и равны 1. Можно легко показать, что они тоже 


постоянны и при этом больше 1 на любом другом центральном луче, 
исходящем из начала координат. Минимум всех функций глобальный! 


Любые центральные лучи задаются, например, через координату Х1: 


Х2 = К. хЬь 


х= К. хЬ, к>0 («=1 (248) 
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С учётом полученных стационарных (минимальных) значений всех 
целевых функций на биссектрисе (Ъ), получаем простые соотношения 
между значениями на ней их матриц Гессе: 


ый “и ) = т", "№ (249) 


В", вет (в) = пт В" Ре Ь). (250) 


Анализ показывает тут следующее. Во-первых, на биссектрисе (Ъ) 
матрицы Гессе отношений соседних средних величин не зависят от 
порядка { или 6; во-вторых, они же изменяются аддитивно с ростом 
интервала между этими порядками; в-третьих, они же совпадают для 
всех функций отношений между соседними средними степенными и 
отношения между средним арифметическим и средним геометрическим. 
Для функций отношений соседних средних алгебраических эта матрица 
Гессе делится равномерно на (п - 1) равных частей. 

Причём самое парадоксальное заключается в том, что матрица Гессе 
целевой функции Е отношения между средним степенным и средним 
арифметическим на биссектрисе (Ъ), в силу (250), неограниченно растёт 
с ростом порядка 6. Хотя при 0 -> о°, в силу (227), эта же функция Е 
стремится к дроби хтах/ Му, изменяется непрерывно и на биссектрисе 
равна в точности | (т.е. минимуму). Кроме того, матрица Гессе целевой 
функции Е отношения между соседними средними степенными на 
биссектрисе <Ъ), в силу (250), даже при 0 -> © сохраняет постоянное 
значение. Хотя, в силу (227), эта же функция Е стремится к | независимо 
от аргумента, т.е. к константе, для которой и градиент, и матрица Гессе 
суть нулевые. Эти, казалось бы, противоречивые факты объясняются 
влиянием соотношения бесконечно малого (отклонения аргумента от 
биссектрисы) и бесконечно большого (параметра 0 -> 0). Вследствие 
этого факта в окрестности биссектрисы (Ъ) при 0 -> © матрица Гессе 
терпит разрыв и становится вне её нулевой. В свою очередь, функция 


8] 19 при 9 -> 0 имеет постоянное значение 1, но с точностью до 


некоей бесконечно малой зависит от аргумента, принимая абсолютный 


минимум | как раз на биссектрисе (Ъ), где функция + 169 сразу 


принимает это минимальное значение. Отсюда отмеченные парадоксы, 
заключающиеся в необычном экстремальном поведении функций Е. 
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Более наглядным образом указанные необычные закономерности можно 
продемонстрировать на модельных функциях от одного скалярного аргумента. 
Например, пусть п = 2, х, = 1, х› =Х > 0 или х, = 1х > 0. Имеем: 


0-1 0 
9+1 1+х 1+х 9+1 
в 5-5 2 я 2 = в и хео= 


ой и {ароувевыт 


Здесь х играет роль аргумента, но и, вместе с тем, экстремального элемента из 











имеющейся совокупности двух положительных чисел (1, х ). 
При конечном степенном параметре 6 имеем: 


Е (1) = Е2(1) =1= пт: Е›(х #1) >ЕЦх# 1) > 1; 
4ь 


т (11 =0; 


ЧЕ 
(= 
и 


2 





2 2 
т о >0| 


2 
“Е = 1 5) 
2 Я 4х 4х2 


155 = 0-1 5 
4х 2 4 


4х 
При 0 > хиа -> + 0 имеем: 
х>1 2х /(1+х) 








им Е (х) =1= ша, По Ь х=1||=| 1= шш 

0—5 0—5 |х<! 2/а+х) }” 

, Е , Е х=1+9 +1/2 

Шо —"()=0, Ни —2|х= = о |. 

0—>= ах 6—-= Чх [х=1-© -1/2 }? 

, 4?Е х-1 0 , 42, х =1+0 0 

Нт —|х=1|=| 1/4>0|, Им х=1 (0-1) /4 > ®>0 |, 
0->сэ Чх х <! 0 9-—>с= ах? Хх =1- 0 0 


(В последнем случае имеем маргинальный минимум — $ 1.3.) 

Ввиду разрыва матрицы Гессе Е” в окрестности биссектрисы можно 
сделать вывод, что трёхвалентная симметричная матрица Е” третьих 
производных при 0 -> ©0 на биссектрисе должна быть бесконечной, но 
только в отрицательной области. Отметим также, что для аналогичных 
целевых функций реверсивных средних величин все вышеизложенные 
закономерности остаются и тут в силе, но знак перед матрицами Гессе 
меняется на противоположный, а формальный их вид сохраняется. То 
же происходит, если в функциях отношений средних величин поменять 
местами числитель и знаменатель. Таким образом, с учётом предельных 
формул (227), (228), доказательство и анализ генерального неравенства 
для средних величин полностью завершены. *** 
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В следующих параграфах рассматриваются отдельные возможности 
его применения в теории решения алгебраических уравнений степени п, 
в том числе вековых уравнений, а также в теории точных пхП-матриц. 
Процесс рассмотрения всех этих вопросов будет, в частности, связан 
с постановкой и решением разнообразных задач на экстремум. 
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Генеральное неравенство для средних величин содержит в себе, 
как частные случаи, неравенство Коши для средних арифметического 
и геометрического и реверсивный аналог для средних гармонического 
игеометрического, неравенство Маклорена для средних алгебраических 
и реверсивный аналог и, кроме того, неравенство Гёльдера для средних 
арифметического и степенных и реверсивный аналог [45]. В целом оно 
объединяет их в единой, полной и завершённой цепи неравенств. Для 
спектрально положительной матрицы В (т. е. при ы; > 0) определим 
арифметическую, геометрическую и гармоническую медианы: 


т = “Вл =М; $ (251) 
ши = 4еВ =Уд, (252) 
я = (ив "= У. (253) 


Согласно генеральному неравенству средних, справедливы оценки: 
тах(и)>аВ"/л> (аВ/з)">4еВ > (ив п) "> (ива) | > шик). (254) 


Ставится задача дискретной оптимизации: вычислить максимальное 
и минимальное собственные значения положительной пхп-матрицы В: 
тах(и;) и ши(р;), т. е. для пхп-матрицы с априори положительным 
спектром собственных значений (и). Согласно (227) и (228), они оба 
являются как его предельными средними, так и его экстремальными 
элементами. Между ними в полной иерархии, согласно генеральному 
неравенству, располагаются иерархические инварианты матрицы В, 
вычисляемые по формулам (216), (251), (214), (252), (220), (253), (222). 
Все иерархические инварианты сохраняются при линейных модальных 
преобразованиях либо пхп-матрицы В, либо её базиса, т. е. активных 
и пассивных. Причём средним алгебраическим тут отвечают именно 
иерархические геометрические инварианты, или нормы В [27]. 
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В общем аспекте отметим: если все п корней х;> 0 алгебраического 
уравнения степени п или собственных значений |1; > 0 пхп-матрицы В 
различаются между собой, то любые п инвариантов как функции от х; 
или |1; независимы между собой, а остальные инварианты выражаются 
через них. Соответственно, если только г < п значений х, > 0 или и; > 0 
различны, то любые г инвариантов как функции от х; или и, идущие 
подряд в цепи генерального неравенства, независимы между собой, 
а остальные ненулевые инварианты выражаются через них. 

Как хорошо известно, корни х; или |1; различны между собой тогда 
и только тогда, когда дискриминант алгебраического уравнения, в том 
числе векового, отличается от нуля. Эта важнейшая характеристика 
определяется тождественным образом либо через квадрат произведения 
всевозможных разностей всех корней, либо с точностью до знака через 


результант многочленов У(Х) и у (х) [39]: 


п:(п-1) 


2 ' 
А = ея -жк) =(-0 2 .Вез[уб®,у'6] = (255, 256) 
1> 
Че Че 
п в в. п В В’... В" 
в Ь, В, В, ов В’ ив’... ив" 
в, № № г В 98 9 
в № в в.) |988“ ив“ чВ““... ив” 








я. 


Значимость дискриминанта алгебраического уравнения даёт возможность 
установить: простое оно или нет (т. е. не содержит кратные корни или 
содержит их). В принципе, он также подлежит вычислению и через 
коэффициенты уравнения К‚, связанные линейно с суммами Варинга В. 
Если 4 В + 0иВ + (1, то п инвариантов, идущие подряд в цепи 
генерального неравенства средних и взятые в своей степени # или 0, 
линейно независимы друг от друга, а остальные инварианты, взятые в 
своей степени { или 09, выражаются через них линейными формулами. 
Например, через п сумм Виета или п сумм Варинга можно в предельной 
последовательности вычислять экстремальные корни или собственные 
значения при условии, что их спектр положительный и разнообразен! 
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Именно на этой изначальной идее базируется излагаемый далее 
предельный метод вычисления экстремальных корней алгебраического 
уравнения степени п и также экстремальных собственных значений 
пхп-матрицы В (с их вещественным положительным спектром). Этот 
метод был ранее изложен в монографии [27]. Он и родственный ему по 
предельной идее метод Лобачевского — Греффе [40], как затем будет 
отдельно показано, — параллельно, но каждый по своему, выполняет 
основное назначение: последовательное приближение вычисляемого 
результата к предельной характеристике. Естественно, что в конце 1-го 
этапа вычислений после сокращения в многочлене алгебраического 
уравнения у(х) одночлена или одночленов (Х — Х;) с найденным точным 
экстремальным корнем х, процесс можно продолжить дальше вплоть 
до вычисления всех корней. 

Сразу же отметим, что вначале целесообразно отделить фрагменты 
алгебраического уравнения с кратными корнями, если они имеются, и 
вычислить затем последние. При этом исходное уравнение разбивается 
на ряд простых (т. е. без кратных корней) алгебраических уравнений 
меньшей степени и, в частности, степени 1. В процессе используется 
алгоритм Евклида с целью вычисления наибольшего общего делителя 
многочлена уравнения и его 1-й производной (при необходимости 
он повторяется). Таким образом, исходное сложное алгебраическое 
уравнение всегда легко приводится к тождественной в целом системе 
простых уравнений. 

Кроме того, для большего удобства в дальнейших вычислениях 
алгебраическое уравнение (с положительными корнями) целесообразно 
представить в знакочередующейся форме: 


Ук) = хе КИ 1+... + (1) К-ж" +...+С 0. =0. — (257) 


В аналогичной знакочередующейся форме целесообразно представлять 
и вековое уравнение для спектрально положительной пхп-матрицы В: 


де(В-ц- Г = 
= (и) +В. (-4)' "+ ... +К(В,9- (44) "+ ...+ае в =0. (258) 


В данной форме записи (при Х, > 0 или и; > 0) все коэффициенты 
алгебраического уравнения суть обязательно положительные числа. 
Причём в уравнении (257) К, — суммы Виета порядка"; вуравнении (258) 
К(В,9 — суммы детерминантов С; диагональных @*{-миноров матрицы, 
но без чередования знака перед ними. Все суммы Варинга В‹ или все 
характеристические следы матрицы В тоже положительные. 
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Для лучшей реализации предельного метода на основе генерального 
неравенства средних величин необходимо осуществить запуск процесса 
вычисления средних степенных в цепи (223). При этом исходно можно 
располагать либо п суммами Виета, т. е. коэффициентами уравнения 
в форме (257), (258); либо первыми п суммами Варинга, т. е. Вод) = В®, 
которые как множества взаимно однозначно связаны друг с другом: 


(©, Ко»... ,К,) <=>, В» ..., Ви). 


Суммы Виета К, и суммы Варинга В} суть симметричные и степенные 
многочлены от корней уравнения. Абстрактно любые симметричные и 
степенные суммы, как известно [39, 63], связаны формулами Ньютона: 


1—1 


+ СО Ку в-у+С 6 кь=0 (=тп), (259) 
ы 
п . 

в (@>п). (260) 
= 


Исторически они были открыты Варингом. Отсюда легко получаются 
рекуррентные формулы Варинга прямого и обратного типа: 


| 
1 = —- 
в т Ву-кыу, (=Ьл), (261) 
р 
ыы ы —- 
м=Х СО куву+СО се кь, @=Ь0), (262) 
= 
п НО 
вв=>.С07 -КуВ6-}, (@>п). (263) 
1! 


Формулы прямого типа при { < п представляются в явном виде (264): 


тошно 
2 0 
| , ь в 0 
К, = и и 
| В. , В, В, . 0 

В В. , В, , $1 
|9] 
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Формулы обратного типа при { < п представляются в явном виде (265): 


К, —1 0 нь 20 
-2.К, +К, = „в 20 
+3.К, =, +К, 0 
Ь, = де ... и а Эа 
О, О. Одо 
ОЕ, ПП. Ее 
(Пек, м, ть. Е 


Разумеется, вид формул (259)—(265) отвечает знакочередующейся 
форме алгебраического уравнения типа (257), (258). 

Суммы Виета К, где { принимает значения от 2-х до п, согласно (264), суть 
изопараметрические многочлены валентности 2 от Я = ив (см. $ 1.6.1): 


а а а 
(09 В, : В, ь В; - 
К: = К(В,9 = Не - 
> аа Ь м 





(ва) 

ь 9 9 9 
2 6," 
9(69) = 


=а < 
где: Е № ры ри те | = с0п80). 
Л -91 +]2 42 +. Вт “Ат=Ь, 


Причём коэффициенты М подчиняются простым соотношениям: 


Ч 
У м9) -0; У м9 м = 
Ч ‚9, „Чт Ч ‚9. Чт 
0(6а) ви 09а) нм 


Коэффициенты К, получаются здесь с дополнительным множителем (0 что 
отвечает алгебраическому уравнению в знакочередующейся форме (257), (258). 
Коэффициенты М целесообразно тут сравнить по структуре с аналогичными 
коэффициентами в изопараметрических многочленах для дифференциалов АРР 
той же валентности 2 (т. е. количества независимых индексов) — см. $ 1.6.1. 

Аналогичным образом суммы Варинга В, = ЫВ® где { пробегает значения 
от 2-х до п, согласно (265), также суть изопараметрические многочлены 
валентности 2, но от ка = КВ, ]. 

Если гапз В =г< п, то К(В, & > г) = 0. Тогда последующие В; = иВ® при 
0 > глинейно зависимы только от первых г характеристических следов (или 
эквивалентно — только от первых Г характеристических коэффициентов). 
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Рекуррентные формулы Варинга (262) и (263) позволяют запустить 
алгоритм вычисления средних степенных от положительных корней 
уравнения (в том числе векового), т. е. М, М,, и М,— вплоть до сколь 
угодно большого 09, неуклонно приближаясь к конечной цели хи.х> 0 
именно снизу, согласно цепи (223) генерального неравенства. 

Более общо имеем предельные соотношения и неравенства: 


Вт Фво(х;)/п =хнах = Шт 9В6(х;), (266) 


Пт 
9->е> 9->е=э 


в (х;)/п < хиах < 9Ве(х}). (267) 


В частности, исходно имеем: К /п < хх < К, ИВ/а < Мах < ИВ. 
Очевидно, что скорость приближения результата к Хи„х тем больше, 
чем более отличаются корни между собой. Подставив в рекуррентную 
формулу (263) предельное значение х„„„ и сократив множитель в. 
получаем исходное алгебраическое уравнение уже в виде тождества. 
На каком-то этапе вычисления обрываются из-за неминуемой ошибки 
округления. При этом упорядоченность последовательности итераций и 
неравенство (267) могут нарушаться, что должно останавливать процесс. 
Корень х„„„ идентифицируется проверкой по исходному уравнению. 
Заметим, что возможная кратность корня 4 только замедляет процесс 
вычисления, но не влияет на конечный результат, так как: 


Шт 9 а. хех = Шт 9 а. хех п =хХнах- 


0—= 0—е 


Кореньх;„> 0, в принципе, согласно (228), можно вычислять таким 
же образом, если использовать инверсионную форму алгебраического 
уравнения, т. е. поделив исходное уравнение на (-х)й и на старший 
коэффициент К, перейдя к аргументу 1/х. Тогда имеем аналогичные 
инверсионные общие соотношения: 


Шо 9 вех: = хиы = Ша Я вое), (268) 


90->с> 9—>с> 


—9 Вох) <хии < 9 Вох) /п. (269) 
В частности, К/К | < хи < п К/К, В! < ии < И. шв 
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Если корни уравнения — точные рациональные числа, то в процессе 
последовательного приближения с требуемой точностью у результата 
неизбежно проявится рациональная природа. Иррациональные корни 
вычисляются с заданной точностью. Процесс может быть продолжен и 
далее с вычислением предшествующих х„„„ корней в их иерархическом 
спектре вплоть до вычисления минимального корня. 

Обратим внимание на то, что вышеизложенный метод, как и близкий 
ему по той же предельной идее метод Лобачевского — Греффе (1834 г.), 
имеет глобальный характер. Все расчётные параметры в нём строго 
предопределены. Кроме того, оба предельных метода базируются на 
возрастании вклада Хх», (относительно прочих корней х,) в суммах 
Варинга и в средних степенных с увеличением порядка 0. 

Особо отметим, что используемый в изложенном предельном методе 
подход позволяет выразить оба экстремальных корня алгебраического 
‘уравнения — с положительным спектром через его коэффициенты 
в виде итоговых предельных формул. (Например, ряд Лагранжа не даёт 
возможности выразить формулой конкретные корни этого уравнения.) 





_ у 0 1 
Хтах — — я аа |-КО ожано) (270) 


где квадратная матрица ки) под знаком корня выражается так: 





Я 0 0 0 до о 
В, В + ш = 0 до о 
к +, к 0 0 оо 
п п-1 п-2 
СО к м к, 0 0 
п п-1 
0 к к оо 
п 
0 0 2 оо 
п-1 п-2 
0 0 0 мк, а к, +0 
п п-1 
0 0 0 ОК, 0 к. + 
0 0 0 0 Ок, Е Е 


(все нулевые элементы стоят в 2-х треугольниках размера 9 ип+ 0-2, 
верхнем и нижнем; все прочие элементы обязательно ненулевые). 
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1 
„= ми -@ ав -——к® 
Хи — Че к. К (пе) (+0) ь (271) 


где квадратная матрица К) под знаком корня выражается так: 





К: +К 0 0 0 0 0 
+2 Ки_2 =; Кл 0 0 0 0 
—3 Киз 5 -К 1 0 0 0 0 
й пЬ-1 п-2 
СО п (ок м К, 0 0 
п п-1 
0 (1) (-1) К 0 0 
п 
0 0 (1) 0 0 
п-1 п-2 
0 0 0 (-1) К (-1) к +К 0 
п п-1 
0 0 0 (-1) (-1) к -К. Кл 
0 0 0 0 с Ко Ка 


(все нулевые элементы стоят в тех же самых 2-х треугольниках, а все 
прочие элементы также обязательно ненулевые). Отметим, что при 
транспонировании матриц ки) и к) результаты не изменяются. 


жжх 


Последовательность скалярных характеристических коэффициентов 
КВ, 9 = К, через формулы Ньютона (259) взаимнооднозначно связана 
с последовательностью характеристических следов Ве = р той же 
длины— теоретически вплоть до порядка п =тапе В для несингулярных 
пхп-матриц В. (Для невещественнозначных и знаконеопределённых 
матриц В характеристические коэффициенты и следы до их порядка п 
могут эпизодически обнуляться.) Решение каких-либо задач, связанных 
изначально с К, можно рассматривать исходя из значений В! Этот факт 
используется в теории матриц, например, в методе Леверье вычисления 
К, = КВ, 0 через п следов ЫВ® (Е 0=1п), где Че В =0: 





1 : } 
к(В, 0 = :. У СОТ кв-)- вв. (272) 


= 
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Это классическая рекуррентная формула Варинга— Леверье. Она 
является полным аналогом формулы (261). Отсюда по методу Леверье 
получается вековое уравнение матрицы В исходя из следов её степеней. 
(Данный метод вычисления коэффициентов векового уравнения весьма 
способствовал Леверье для его великого открытия на кончике пера 
планеты Нептун.) Точные вычисления всех К(В, {) должны обрываться 
при порядке { = п. Соответственно исходное вековое уравнение для 
применения предельного метода вычисления собственных значений для 
знакоположительной В имеет порядок п. Ранее указанное замечание по 
поводу возможности преобразования исходного уравнения к простой 
форме, т.е. к форме без кратных корней, сохраняется. 

Если же исходное алгебраическое уравнение (в том числе вековое) 
в принятой здесь знакочередующейся форме имеет вещественные, но 
знаконеопределённые корни и соответственно не все положительные 
коэффициенты к, то далее наиболее целесообразно сместить аргумент 
исходя из априорной границы или отрицательных, или положительных 
вещественных корней по известным правилам Ролля — Маклорена: 


|-1-Гошак, | =А0< х,<А®= [1 +4] шв (-1-К, |. (273,274) 


Здесь АС) и ты, —_ априорные границы вещественных отрицательных 
и положительных корней Хр 9. и 4, — индексы первых отрицательных 





коэффициентов К, и С . к. Для обеспечения наибольшей скорости 
сходимости предельного метода выбирают наименьший по абсолютной 
величине Л. Если таковым оказывается ЛС), то аргумент х смещают 
в сторону его положительных значений с подстановкой в уравнениетипа: 
х=и+ АО > Ки) = 0; и; =Х; ДАО > 0. Если таковым оказывается Д(®), 
то аргумент х смещают в сторону его отрицательных значений и затем 
меняют знак: х=и + Л), у=-и-> Ку) =0; у, =-х, + АС > 0. В итоге 
в обоих случаях получают новое уравнение со всеми положительными 
коэффициентами и соответственно с предполагаемыми вещественными 














положительными корнями и; ИЛИ У:. 


Для матрицы В с еб знаконеопределённым вещественным спектром 
собственных значений указанное преобразование смещения трактуется 
также или с применением ЛС < 0, или с применением Д(® > 0: 





В.= {ВАО {В =В,-ш {В.Н =В.-м = {В -АОТ-м = 
= {В-(м-+40) > м=ш-40 >0; 

В.={В1- 4.1, {В н=В,-ш {Ван =В›-м = {В - АО = 
= {В- (+40). Ц; Вз=-В» > м=-(ш- 4) =-м+40 >0. 
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Особо отметим: для вековых алгебраических уравнений вывод о 
вещественности и положительности их корней — собственных значений 
в ряде частных случаев можно сделать по элементам пхп-матрицы В. 
Априори вещественные собственные значения имеют вещественные 
симметричные матрицы 5 = 5' и мнимые кососимметричные матрицы 
1К =- (К), где К =- К’ вещественные. Например, для вещественной 
пхп-матрицы В это могут быть её характеристические матрицы типа: 
5в = (В+В'’)/2 и К. = (В - В’)/2 (В = $, +К»,). В важном частном 
случае, когда Зв "Кв =Кв.: Зв <> В.В' = В'.В, исходная пхп-матрица 
нормальная: В е (№). Для неё $ и Ку приводятся к диагональной 
форме совместно в одном и том же базисе. Поэтому их собственные 
значения в парных суммах дают таковые для исходной матрицы М. 
Следовательно, решая отдельно вековые уравнения для З\ и для 
—ИКх (последнее обязательно биквадратное), можно получить по 
отдельности вещественные и сопряжённые мнимые части в парах 
комплексных сопряжённых собственных значений матрицы М. Далее 
только остаётся сделать подбор этих пар путём проверки на вековом 
уравнении. Такой же, по сути, подход, но с применением эрмитова 
транспонирования распространяется на комплексные нормальные 
матрицы В.В” = В".В. Что же касается вещественных симметричных 
и комплексных эрмитовых матриц, то о положительности их априорно 
вещественных собственных значений судят по классическим правилам 
Сильвестра, рассмотренным ранее в $ 1.9. 

Таким образом, множество пхп-матриц, которые априори подходят 
для реализации предельного метода, включает в себя в самом общем 
случае вещественные нормальные матрицы и комплексные эрмитово 
нормальные матрицы. 

Альтернатива процедуре смещения знаконеопределённых корней 
в положительную область имеется. Для знаконеопределённой матрицы 
с вещественными собственными значениями |; может применяться 
операция возведения еб в квадрат. Для алгебраического уравнения 
с вещественными корнями х; может применяться однократная операция 
квадрирования (см. далее). Вследствие таких операций корни уравнения 
и собственные значения пхп-матрицы В также возводятся в квадрат, 
переходя при этом в положительную область. На конечной стадии 
остаётся подобрать их знаки проверкой по исходному уравнению. 

Но вещественность корней конкретного алгебраического уравнения 
вообще — с вещественными коэффициентами устанавливают при 
П < 4 по его дискриминанту (255), а при п > 4, например, классическим 
методом Штурма [39] в априорном интервале аргумента (- оо, + 05). 
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Однако для уравнения в знакочередующейся форме с вещественными 
положительными коэффициентами поисковый априорный интервал 
аргумента сужается до (0, + 00). Напомним, что для реализации метода 
Штурма с данными целями анализируемое алгебраическое уравнение 
должно исходно иметь простую форму или представлено системой 
отдельных простых алгебраических уравнений. С целью разложения 
многочлена уравнения на простые многочлены обычно используется 
алгоритм Евклида. 

Вкратце сущность классического метода Штурма состоит в следующем. 


Пусть дано простое алгебраическое уравнение степени п с вещественными 
коэффициентами: 


п 
ух) = ] < -хр = 0, 
т 


причём у'’(х) — 1-я производная многочлена У(х). Ввиду того, что У(х) и у’(х) 
в данном случае не имеют общего множителя в виде многочлена от Хх, то 
для них алгоритм Евклида занимает максимальное количество шагов (п — 1) 
и приводит всегда к некоему постоянному остатку: 


Ух) =11()-у(х)-В(х), 
У'(х) =1>2 (х)-Н(х)-Ё(х), 


НС) =13(х)-Ь(х)-В(), 11 (®) =а;-х+Ы; 


Б-з(х) =/1-—1(®) Е -2(х) —ЕБ-1ь 





Еф = ©0186. (275) 


Отсюда вычисляется функция М№(с) как количество перемен знака в ряду 
выражений: у(с), — У’(с), [(с), ...,Ри_2(с), Е (с). (Знак минус перед 1-й 
производной в сравнении с обычным вариантом вызван знакочередующейся 
формой уравнения.) По теореме Штурма (1829 г.) при с. >С, и Кс) # 0 число 
вещественных корней уравнения в интервале [с\, с.] равно №с,) — Мс). 

Например, для уравнения у(х)=0 в знакочередующейся форме (257) 
с положительными коэффициентами вещественные корни могут быть только 
положительными. Поэтому их общее количество тут равно М(-+ со) — №(0). 


Но для вещественного алгебраического уравнения с неупорядоченными по 
знаку коэффициентами и, возможно, нулевыми число вещественных корней 


равно М№+ с) — М(- оо). Оно никак не может иметь п положительных или 
п отрицательных корней, но может иметь П вещественных корней. 
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В заключение этого параграфа дадим небольшой сравнительный 
анализ предельного метода, основанного на генеральном неравенстве 
для средних величин, и классического метода Лобачевского — Греффе, 
с учётом простоты их реализации, объёма всех вычислений и скорости 
сходимости, например, к максимальному вещественному корню. 

Обратим внимание на то, что при вычислении предельным методом 
максимального собственного значения |; спектрально положительной 
пхп-матрицы В, согласно формулам (266) и (267), аналогично имеем: 


Вто 9 б/п = Их = т О В, 9 Вто ик< 9 98. (276) 
0—>-> 


90— 





Количество итераций, связанных с возведением в степень матрицы В, 
тут существенно сокращают, когда увеличение её степени достигают 
в процессе вычислений по схеме квадрирования матрицы [6]: 


29-1 29-1 


а 
В.В=В?, В. В2=В., .., В? СВ? =В? (24=0). — (277) 


Следовательно, степень 0 в такой схеме возрастает экспоненциально. 
Общее количество требуемых итераций 4 существенно сокращается. 
Однако видно, что объёмы вычислений при каждой итерации также 
существенно возрастают. Тут недостаточно простого повторения одной 
примитивной итерации (263) с увеличением каждый раз 0 на единицу. 
С аналогичной ситуацией неминуемо сталкиваются именно тогда, когда, 
вычисляя корень алгебраического уравнения предельным методом, для 
эквивалентного сокращения общего количества итераций 4 используют 
операцию поэтапного квадрирования уравнения. На подобном приёме и 
предельной идее базируется метод Лобачевского — Греффе: 


У(х) = 0, 


у (х^) = У()-У(х) =0, 
(278) 
у (к) =У,(к^)-у,(Сх?)=0, 





В этом методе при знакочередующейся форме уравнения имеем: 


К а| = Шт 2/Кца) = Ша 9 Ухо, (279) 
Ч-—>е° 9-—>е 


где к (а есть 1-й коэффициент 4-го уравнения, 0 = 29. 
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Резкое возрастание здесь объёма попутных вычислений связано 
с необходимостью нахождения п коэффициентов нового уравнения 
после каждой операции квадрирования. Коэффициенты последующего 
квадрированного уравнения 4; вычисляются исходя из значений всех 
коэффициентов предыдущего уравнения К, по формулам: 


у 2 
а. =К, ме. 
Ч = к, —2к К. +2К., 
а. =К, —2к.К, +2к К; -2К 





6? 
а - Е а (080) 
Чи = Киз 2—2 Ки—4 +2 Ки—5 2 Кб’ 
2 

Чи-2 = 2 2 Ки 3+2 К 4? 

—_ 2 
Чт-1 К и -2К Ки 2 
ЕВ 
в п 


По смыслу операции квадрирования и по виду данных соотношений 
следует, что принимаемая исходная форма алгебраического уравнения 
(знакопостоянная или знакочередующаяся) на формулы типа (280) для 
коэффициентов не оказывает влияния. 

Однако известно, что процесс квадрирования приводит к быстрому 
накоплению ошибки вычислений. С учётом сказанного, можно сделать 
вывод, что однозначного критерия в пользу выбора из 2-х вариантов 
предельного метода нет. Ответ на вопрос данного выбора лежит, скорее, 
в практической области вычислений, нежели в теоретической. 


жж 


В общем плане отметим, что к степеням положительных чисел Хх; 
Также применимо генеральное неравенство для средних величин. Но 
при этом, например, для средних алгебраических производятся весьма 
неочевидные неравенства типа: 


Вт (Р.Р) < Ч бы (281) 


8] У о > Че (9,-жья) (282) 


где 1 <р<4,п- 1>{> 1 ихотя бы два элемента х; различны, а количество 
ненулевых элементов больше 4. Эти неравенства следуют из цепей (223) 
и (226) генерального неравенства для средних величин применительно 








+ + 
к суммам Виета от х:Р и отх, Ч. 
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Также между прямыми и реверсивными средними алгебраическими 
имеется неочевидная взаимосвязь через среднее геометрическое: 





Ша =: Уд = УЕ = Уд. (283) 


8 4.3. Инверсия генерального неравенства 


Обращение элементов х; в совокупности положительных чисел (х,) 


1 есть свои средние. 


никак не влияет на их знаки. Но для элементов Хх 
Для совокупности п вещественных положительных чисел типа 09° 
В которой хотя бы одно число отличается от другого числа, имеет место 
инверсионная форма генерального неравенства для средних величин 


(203)-(206), охватывающая всю область данной совокупности: 
тах у У... > УТ... > У = 
1 со ... 0 ... 1 (284) 


м о >ун = (285) 


| 
В 

| 
У 
У 


м >... >! = (286) 


=М:1>...> М7>...> МА = ши) 
((=1,...,п;0=1,... , 09). 


(287) 


Все инверсионные средние величины получаются в результате простого 
обращения определяющих формул для средних величин (211)-(222). 
Данные неравенства могут применяться, например, при решении или 
анализе предельным методом инверсионного алгебраического уравнения 
свычислением корнях ;„. Аналогично (257) представим это уравнение 
взнакочередующейся форме: 


ух) =х 1 - № ОЕ СИ . К а (1 ак =0, (288) 
гдек! = Еп-1/Кп, --- КЕ = п /Ки».-- Ки = К] /Ки—положительные 
коэффициенты уравнения (инверсионные коэффициенты). Они же суть 


положительные суммы Виета от корней этого уравнения, взаимно- 
однозначно связанные с их положительными суммами Варинга: 


КК, М еВх: ); (,Ко,...Кп) => (ВЫ,Во,...Вп). 


$ 4.4. Требования к коэффициентам для положительности всех корней _ 165 


Инверсионные формулы Ньютона имеют вид, аналогичный (259), (260): 


1 

В+ 1. К). В 3+2 Е.Е =0, @=1п) (289) 
1=1 

^ п > ^ ^ 

во + У` (-11.К;-Во-=0. (0>п) (290) 
=! 


Далее имеем инверсионные аналоги формул (266), (267), используемых 
в предельном методе вычисления максимального корня уравнения: 


о : увеся )/п=хня = т ® нося 1); ес! Иа <Я (кт ), 


т. е. это те же самые а (268), (269) для минимального корня. 
Отметим также, что малые и большие медианы для совокупностей 





положительных чисел (х;) (или д при {=1, п связаны друг с другом 
модифицированными формулами Ньютона: 








Си — Сы М, - в + Си * М2 2 +. 
веб м =0, (291) 
СЕ Е СЕТ. ее? 52.952) + 
о (292) 
О Ты Ре нь 


8 4.4. Полные требования к коэффициентам 
алгебраического уравнения для положительности 
всех его корней 


Ставится следующая задача: каким необходимым и достаточным 
требованиям должны удовлетворять коэффициенты вещественного 
алгебраического уравнения степени П (в знакочередующейся форме), 
для вещественности и положительности или, ещё более широко, — 
для вещественности его корней? Оказывается, и эта алгебраическая 
проблема в самом общем виде есть задача на максимумы и минимумы! 
Следует, разумеется, различать решение поставленной задачи для 
отдельного вещественного алгебраического уравнения и для векового 
уравнения пхп-матрицы В, в частности, вещественной симметричной 5 
и комплексной эрмитовой Н. 
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Во-первых, спектр собственных значений для последних априори 
всегда вещественный. Во-вторых, для положительной определённости 
именно матриц 3 или Н, согласно признаку Сильвестра, необходимо 
и достаточно, чтобы детерминанты их главных угловых миноров были 
положительные, или, что тождественно, с учётом признака Декарта, — 
чтобы все коэффициенты их векового уравнения были положительные. 
(Или, чтобы п характеристических следов 3 и Н были положительные!) 
В-третьих, несингулярные вещественные симметричные матрицы типа 
5$ =А’.А, или А.А’ или типа $52 и комплексные эрмитовы матрицы типа 
Н=А*.А, или А-А* или типа Н? априори имеют всегда положительные 
собственные значения. Более того, как было показано выше, элементы 
нормальных матриц М содержат достаточно изначальной информации 
для того, чтобы решать задачу об отыскании их собственных значений, 
сводя её к решению алгебраического (векового) уравнения с заведомо 
вещественными положительными корнями. 

Решение поставленной задачи для векового уравнения пхп-матрицы 
общего вида и для отдельного алгебраического уравнения степени п 
при п > 4 определяется ответом на вопрос: «Имеет ли вещественное 
алгебраическое уравнение комплексные сопряжённые корни или нет?» 
Ранее уже было сказано, что точный ответ на данный вопрос для 
конкретного уравнения всегда можно получить однозначно, используя 
классический метод Штурма. Однако этот метод, даже теоретически, не 
даёт общих необходимых и достаточных требований, которым должны 
отвечать коэффициенты вещественного алгебраического уравнения для 
вещественности всех его корней или, с учётом процедуры смещения 
аргумента в положительном направлении, — для их положительности. 

Первоочередное необходимое требование для вещественности и 
положительности корней, согласно классическому признаку Декарта, 
состоит в положительности коэффициентов алгебраического уравнения 
в знакочередующейся форме (257) или (258). Однако данный признак не 
гарантирует того, что у него нет пар комплексных сопряжённых корней. 
Например, при выборе даже самого большого априорного параметра 
положительного смещения ЛО =- (1 + тах | К, | ) гарантируется только 
то, что вещественные части комплексных корней будут положительные. 

Согласно цепи (224) генерального неравенства для средних величин, 
алгебраическое уравнение с вещественными положительными корнями 
имеет равные медианы (образуемые из коэффициентов) тогда и только 
тогда, когда уравнение имеет биномиальную форму: 


У(х) = (х-)" = > (-1) (© 7-х =0 <> Ш; =НИ=с018. (293) 
1=0 
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При отличии хотя бы двух корней друг от друга коэффициенты 
уравнения никак не могут соответствовать биномиальной форме (293), 
причём действует неравенство (224). Например, совпадение каких-либо 
отдельных или соседних медиан (213), (214), нарушение их иерархии 
сизменением порядка{ от 1 доп, обнуление отдельных коэффициентов К, 
до { = п — всё это те отклонения, которые свидетельствуют о том, что 
алгебраическое уравнение с неотрицательными коэффициентами имеет 
комплексные сопряжённые корни! Наиболее общо любое вещественное 
алгебраическое уравнение с положительными корнями неотъемлемо 
характеризуется цепью иерархических инвариантов из всех медиан. 

Отсюда более строгое необходимое требование к коэффициентам 
вещественного алгебраического уравнения в знакочередующейся форме 
нежели классический признак Декарта есть иерархический признак, 
заключающийся в необходимости выполнения цепи (224) генерального 
неравенства или любого другого отрезка из п медиан (разумеется, при 
несовпадении всех корней) [27]. Например, в качестве медиан берутся 
средниеалгебраические, выражаемые через коэффициенты уравнения К, 
по формулам (213), (214); или первые П средних степенных, выражаемые 
через суммы Варинга или характеристические следы по (215), (216). Но 
и этот признак недостаточен. Его недостаточность видна из примера: 


х?—29х? +278х-868 =(«-7)-[х-(1+\341) || х-(и-\34)|=0, 


где п =29/3, т. = \/278/3, из =3/868; причём й\ > т. > м; >0. 
Причиной недостаточности признака является то, что генеральное 
неравенство средних величин устанавливает лишь иерархию медиан, 
но не возможные интервалы для них. 

Пусть х| и х› — решения вещественного квадратного уравнения 
х?— К, - х +К, =0 при переменных-коэффициентах К, > 0 иК, > 0. 
Ранее в примере 2 из $ 1.9 и в примере из $ 3.3 было показано, что 
скалярные функции У} и У, для разности и для отношения средних 
арифметических и геометрических от пары х| и х› имеют нестрогую 
глобальную стационарность на биссектрисе 1-го квадранта (при х,=х,), 
причём минимумы 0 и 1 для вещественных х, их, и максимумы Ои1 
для комплексных сопряжённых х, и х,. Однако при п > 2 в случае 
смешивания положительных вещественных корней и пар комплексных 
сопряжённых корней в аналогичных скалярных функциях у иу, от них 
вещественные и комплексные сопряжённые корни уравнения степени п 
конкурируют друг с другом в определении характера стационарности 
на биссектрисе 1-го квадранта (т.е. при х, =х,=...=х,), что приводит 
кперегибу функций у| иу›. Отсюда именно для этого случая генеральное 
неравенство средних может и выполняться, и не выполняться! 
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Необходимые и достаточные требования ко всем коэффициентам К, 
вещественного алгебраического уравнения в знакочередующейся форме 
заключаются в общем виде: во-первых, в положительности всех К, и, 
во-вторых, в их последовательной корректности, начиная с К., с учётом 
значений всех предшествующих коэффициентов. Тривиальный вариант: 
соответствие коэффициентов биномиальному ряду, что реализуется 
при и, = [> =... = в, >Ов (293). Так, коэффициент К, > 0 должен 
всегда дополнительно удовлетворять 1-му неравенству из цепи (224) 
генерального неравенства средних — при несовпадении всех корней, 
независимо от степени алгебраического уравнения: 


Ош. 5 ш + 06/2 ЕС © 
п-1 п-1 2 
< 0<./К. < |[-— к <> 0<К, < К. 294 
2 2п : ь 2п . Я 


Вслед за этим первым ограничением 11 < 11, идут последующие 
ограничения для коэффициентов Ш, начиная с 1., которые должны 
подчиняться ещё более строгим неравенствам, нежели 0 < тм, < т, |, 
с учётом значений всех предшествующих коэффициентов: 


0 < шт (111) < Ш; < шах (1) < |, (295) 
где 
тах (111) - [6] (м. то, ...) т |. шт (014) - Ф<> (т, т>, ... те } 


Или, что тождественно: 


0 < шшт(К,) < К; < шах (К), (296) 


где шах (К!) = ли (К1»Ко, ... Кел); пить) = у (Ку,Ко, „.., К). 


Применительно к коэффициентам К, уравнения (257) их максимумы 
и минимумы теоретически являются тут экстремальными значениями 
сумм Виета порядка & в задаче на условный экстремум с ограничением 
на переменные к, где1<] < Е 


К: (Хр, хо, ..., Ха) = еХИ; 
КС, хо, ... хи)-К, =0, (х; >0, =2,п) (297) 


$ 4.4. Требования к коэффициентам для положительности всех корней _ 169 


Однозначные условные экстремумы слева и справа для К, или для 1, 
при положительных корнях уравнения здесь обязательно существуют, 
в силу имеющихся ограничений сверху и снизу в цепи неравенств (224). 
Если каждый последующий коэффициент К, входит в вычисляемое 
двойное неравенство, то все коэффициенты алгебраического уравнения 
в данном смысле корректные. Теоретически аналогичные экстремумы 
вычисляются исходя из сумм Варинга (характеристических следов). 
Укажем пример, весьма близкий к предыдущем, но в котором все 
коэффициенты уравнения в данном смысле корректные: 


х3 —29х2 +275х—847 = (х-7)-(х-1)2 =0; 
где т; =29/3, т› =_/ 275/3, 113 = [847 и также т, > т, > т. > 0. 


Далее преобразуем исходное алгебраическое уравнение степени п 
(257) с предполагаемыми вещественными положительными корнями х; 
к весьма важной для последующего анализа приведённой форме: 





уп(х)=хП ыы Пу. хй 142 02 ан Е ‚п с 
ви Па, (298) 


где п приведённые коэффициенты, Ш средние алгебраические, или 
малые медианы от положительных корней х;, согласно (213) и (214); 
ш>мщ,>...> Ш, | > Ш, при неравенстве тут хотя бы одного корня 
другому, согласно цепи неравенств (224). Именно в приведённой форме 
алгебраического уравнения непосредственно работает необходимый 
иерархический признак положительности всех его корней! 


жж 


Рассмотрим отдельно алгебраическое уравнение той же степени п, 
но с неотрицательными корнями Хх; > 0. Поясним, зачем всё это нужно. 
Дело в том, что иногда находимая нижняя допустимая граница для т, 
в (295) нулевая, что отвечает одному или нескольким нулевым корням 
уравнения. Например, это имеет место всегда в неравенстве (294), т. е. 
при {= 2; тут нижняя нулевая граница отвечает (п — 1) нулевому корню. 
При { > 2 знание нижней границы, обусловленной нулевыми корнями, 
может быть полезным для более полной информации о вычисляемой 
истинной нижней границе (как она может достигаться). 
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Пусть уравнение (298) имеет $ = п — гнулевых корней. Числа $ и Г, 
по определению, суть степень вырожденности и ранг алгебраического 
уравнения. Иерархическая цепь неравенств для т, обрывается здесь 
на ] = г (так как при ] > г все медианы обнуляются). Из уравнения (298) 
выделим фрагмент, отвечающий только положительным корням: 





уг(к)=х! СЕ ух в. то ХЕ НО" - С пы -хГ 9+... 


(ОГ СЕ. х + (ПГ .пы =0, (299) 
коэффициенты и медианы в этих уравнениях связаны формулами 
кп) = Кг) = С - пы (п) = С} - 1), (300) 
тде |= 1,г; п (п) — ]-е медианы в (298), т г) — ]-е медианы в (299). 


В частности, в уравнении (298) степени вырожденности $ =Пп-ТГ 
медианы подчиняются более строгой цепи критических неравенств: 





= С = ы Ц_ 
т. (0)> — ‘о (п)>.. 27-1 = т (п) > | СИ. м. (п), (301) 
Т Т Т 


тождественной цепи й1 (г) > 11.(г) >... > Ш, 1 (г) > М (г) в (299). Знаки 
равенства, причём все сразу, имеют место тогда и только тогда, когда все 
ненулевые корни х, равны. При этом само уравнение степени п имеет 
квазибиномиальную форму. Например, если фрагмент (299) уравнения 
имеет биномиальную форму типа (293), то малые и большие медианы 
от корней уравнения (298) степени п и ранга г изменяются с ростом 
порядка ] как функции: 


т): С/С, Муж =и-/ г/п. (302, 303) 


Обратим внимание на то, что внутри (301) выполняется неравенство 
й ве сис | <Ъ (1<1<]<г< п), (304) 


которое и обуславливает его большую строгость в сравнении с менее 
строгой исходной цепью 


111 (п) > 112 (0) >...> Ш. 1 (1) > ш,; (1) >0. 
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Критические неравенства (301) и редукционное неравенство (304) 
принимают разнообразные частные случаи. Рассмотрим особо важный 
частный случай, отвечающий параметрам: п = $ г={-1. Он имеет 
значение, например, в полном анализе вещественного алгебраического 
уравнения в знакочередующейся форме на предмет вещественности и 
положительности всех его корней. Рассматриваемый случай отвечает 
алгебраическому уравнению степени & с одним нулевым корнем: 





узбо=хЕ С! ан -хе 1+ С.-Х" 2+ (0 С! в (9-хГ +... 


НСО 2 СР 2-х СЕТЕ .х=0, = (305) 


(в нём свободный член обязательно нулевой п (©) =Х, - Х>..... х= 0). 
Формулы (300), (301) приобретают вид: 


к ®=к(-0=С] в ®=С] 8-0, (306) 










®. С в 
АО ве ом ФНО ы, 40 007) 
С! С2 1—2 

1-1 1—1 1—1 


что тождественно №1, (1-1)>11.(1-1>...> Ш. _2@-1)> Ш. (1-1. 


Если уравнение (305) имеет квазибиномиальную форму, то как тот 
же частный случай формул (302) и (303) имеем: 


м =и- С}, ИС] =и-/@-)/, МКО=ь: @-0/0. = (308, 309) 


Аналогичные связи имеются между алгебраическими медианами 
для систем положительных корней (<, Хо, --> Х,_ р} и неотрицательных 
корней к, Хх... х,) содним нулевым корнем. Они используются именно 
тогда, когда в результате предварительной проверки устанавливается, 
что в системе (297) все коэффициенты К, порядка 1 <] <{- 1 корректные, 
а далее нужно проверить корректность коэффициента порядка 1. Если 
в (305) для тм (0 выполняется цепь неравенств (307), то пит{тп;} = 0 
(при этом, например, х, = 0). В противном случае в (305) пи {тп;} > 0 
(х;> 0). Это позволяет в первом случае вычислять только тах {т }. Тогда 
корректная медиана 11, должна находиться обязательно в интервале 
от 0 до тах {т }. 
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жж 


Отметим ещё одну (помимо иерархической) важную особенность 
приведённой формы алгебраического уравнения типа (298). А именно: 
последовательное дифференцирование многочлена этого уравнения 
с точностью до постоянного множителя сохраняет для производных ту 
же самую приведённую форму, но только с понижением её степени! 
Для многочлена у, (х) в приведённой форме имеем производные по х: 


ду = 
а 1 п Ун—1(%), 
42 
ее 07-2 .п.(п-1)-Ув_2(®), 
х 
ее (310) 
а! 
4 — оу 
х 
п 
4 Ув = +1! = ©0186. 
4х 





В процессе дифференцирования многочлена у„(х) в приведённой форме 
последовательно отсекаются именно коэффициенты высшего порядка 
(что будет далее использоваться). Аналогичная редукционная картина 
имеет место и при последовательном дифференцировании многочлена 
приведённой формы инверсионного алгебраического уравнения (288): 


Уп (х)=х И - _ у“ ПРИ С. о" ое 


СО". Ся х —@-), ть са 60 (рп. у0.(311) 


— алгебраические медианы из цепи (285) инверсионного 
=] 


Здесь У 
генерального неравенства средних; ы — приведённые инверсионные 
коэффициенты. Медианы выражаются как средние алгебраические от 
обратных корней по обращённым формулам (219), (220). Причём и тут 
соблюдение иерархии медиан, как в цепи (285), — исходное требование 
к коэффициентам уравнения (281) с вещественными положительными 
корнями. Последовательное дифференцирование многочлена уравнения 
У) = у, (а) поч = х | точно также сохраняет его приведённую форму 
с точностью до постоянного множителя. При этом уравнение (311) далее 
анализируется именно в прямой форме, но с новой переменной и. 
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Однако, несмотря на эту, казалось бы, простую взаимосвязь прямой 
и инверсионной форм алгебраического уравнения сопутствующие им 
генеральные неравенства для медиан локально различны. Причём их 
отдельные элементы взаимосвязаны между собой формулами (283). 
Например, из прямого окаймляющего неравенства для медианы Уп 
уравнения (311), с учётом формул (283), получаем дополнительное 
неравенство для медиан уравнения (268): 





1 1 1 — — в 
Уп--1 > Уп-ё > Упр <? Уфе < Уп < Уш-ьы < 








п п п 
<> Уп < УЕ < Уп < 








=п-(-1 — п п-{+1 
<> Уве" Ув < Ун- < УвЬ /Ув-ьы © 








п 1-1 п | п 1—1 
<> Па УПИ МЕН < Ма / МЕ < Ма / МЕ У < 





АНУ к 
> МН У > Уьа, 


Отсюда для 11, следует обратное окаймляющее неравенство 


мн 1 /Уп-(4+0 > М: > Ме. У, / бы, (312) 


которое как бы дополняет прямое иерархическое неравенство из (224) 
... < < < Ш, | ..., Т.е. фрагмент генерального неравенства. 
Из цепей (224) и (225) генерального неравенства средних видно, что 





в (312) левое подкоренное выражение больше 1, а правое подкоренное 
выражение меньше 1, как и должно быть здесь по смыслу. (Обратим 
внимание на то, что знаки неравенств направлены противоположно.) 


хжжх 


Для установления искомого полного признака вещественности и 
положительности корней алгебраического уравнения остаётся найти 
последовательный способ вычисления парных экстремумов в (295) и 
(296). Например, для уравнения 2-й степени полный признак есть (294), 
или, что эквивалентно, т |, 1, > 0, Д? > 0, где Д? — дискриминант. 
Вначале более подробно в этом аспекте изучим уравнение 3-й степени. 
Далее совершенно естественным путём придём к общему признаку для 
уравнения степени п, решив поставленную экстремальную задачу (297) 
с применением дифференциального подхода. 
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В приведённой форме уравнение 3-й степени имеет вид: 
уз) =х? - ЗА -х? +32 -х- 3 =0. (313) 


Дальнейший анализ этого уравнения на предмет вещественности 
и положительности всех его 3-х корней имеет смысл только, если на 1-м 
этапе проверки выполняется признак Декарта (т. е. положительность 
всех трёх коэффициентов К), а на 2-м этапе проверки выполняется 
иерархический признак т, > т, > т, > 0 (при неравенстве хотя бы 
одного корня другому) или Ш, = м, = м, > 0 (при равенстве всех 
корней х, =х. =... =х. > 0). Для уравнения 3-й степени в форме (313) 
его дискриминант выражается так: 


А? = (х1-х2)? (1 -х3)? (хо -хз)2 = 


ро ое Е Е. Е. 
=|311у 015 + бт] т. т — т; - 41 п |/4; 


где пу = ЮЗ, 15 =Ю/3З, 3 = К. 


Уравнение 3-й степени с вещественными коэффициентами имеет 
все вещественные корни тогда и только тогда, когда Д? > 0. С учётом 
ещё и признака Декарта: для вещественности и положительности 
всех корней необходимо и достаточно, чтобы выполнялись требования: 
В, М: М > 0, Д? > 0. Это пока вполне аналогично требованию для 
уравнения 2-й степени. Но зато при п > 3 полный признак на основе 
дискриминанта алгебраического уравнения не применим! 

Для полноты изложения вопроса проиллюстрируем сначала на том 
же уравнении 3-Й степени возможности, которые предоставляет в этом 
аспекте метод Штурма ($ 4.2). Напомним, что для его применения 
анализируемое алгебраическое уравнение должно быть простым. 

Поскольку сам метод Штурма, по сути, базируется на алгоритме 
Евклида применительно к процессу вычисления наибольшего общего 
делителя-многочлена для У(х) и У'(Х), то для простого уравнения 3-й 
степени процесс (275) должен включать два шага: 


У) =11(®)-У'®)-В(®), 


у'(х)=15(®).Н()-Ь, 1: (К) =а;-х+Ы, 


Ё› = с0п84. 
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Конкретно для уравнения (313) дополнительно имеем: 


у") /3=х? -21 -х+5, 


#69 =2.[58 #8 ).х- [п м} -п}, 


2 
8 3 
1 | п: -м _ Ш :05-м - 
ое Вы. 2 а т: 


4 м 





Ь = 
т! 15 т; п 


Далее составляем табл. 3 для подсчёта общего числа перемен знаков 
в априорных интервалах аргумента в ряду У(х), — у’(х), Е (®), р 


Таблица 3. Перемены знака многочленов в методе Штурма при п = 3. 














Кх) й х=+ оо х=0 х=- © 
Ух) + - - 
- У) — о - - 
<) + © — — со 
Ь Ь Ь Ь 




















Согласно теореме Штурма, отсюда следует: для того, чтобы все 
корни простого уравнения (313) с вещественными положительными 
коэффициентами к были вещественными и при этом положительными, 
необходимо и достаточно, чтобы выполнялось знаковое условие Ё, < 0. 
Тогдав априорном для них интервале (0,00) почислу перемензнакав 1-й 
колонке имеем три различных вещественных корня: хз > х›>х| > 0. 

Введём следующие обозначения: 





р= (м 52-8 )/ [м2 15}, 


2 


3/2 
оз = [за 2-25 |+2.[5? - п) 





3/2 
а в, 
В? = [ты 15—21] 2 [55 п 
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Из требования Ь < 0 следуют эквивалентные неравенства: 


2 — —2 
4% =р” -4А -р+4015 = (р-р). (р-р2) < 0 <> р: <р<р2<> 


Е. 
м]. -м 

2 [в-|р -в <2— <2 [вн |? 1 
1 


< В? 


< 13 < 0? < В< м, <а. (314) 
В силу того, что исходно 11 | > т, > 0, имеем о > 0. Но знак числа В тут 
зависит от соотношения алгебраических медиан т, и т.: 


1) при пе = 415 имеем В = 0, 
2) при зп? > 4112 имеем В < 0, 


3) при зп? < 415 имеем В > 0. 
Эти три варианта легко интерпретируются с привлечением неравенства 
(307) при значениях параметров { = Зиг= 2. А именно, первые два 
варианта отвечают в (295) пи {т.} = 0 при В < 0; третий же вариант 
отвечает в (295) пи {т ;} = В при В > 0. 

Но гораздо большая конкретика достигается в результате решения 
этой задачи на условные экстремумы (максимум и минимум) высшего 
коэффициента 11 ; в её постановке (297), например, методом Лагранжа. 
(Здесь уравнение может иметь и кратные корни!) Соответственно тогда 
при значении п = 3 имеем ту же самую пару экстремальных решений, 
отвечающих максимуму и минимуму высшего коэффициента Кз = 3 


3. 

Е —\К? —3к, _ К +2 К? ЗК, . 

) р ох И. = (315) 
2 1 3 2 3/2 


Отсюда при К, = Зт | и К, = то, т. е. для уравнения (313), имеем: 


хех = - м2, хе +212 - 10; (317) 


3/2 
а 9? = пах и | = [38-58 25} |+2-[п 18) : (318) 





$ 4.4. Требования к коэффициентам для положительности всех корней _ 177 


Я 
К +4/К2 ЗК ее К -2\ ку -3К2. 
3 . 3 | 


2) Хх =хХ> = (319) 


3/2 
о В (бккь 2?) --2 [&? - к) | 
27 (320) 


Отсюда при К, = Зт | и К, = Зт, т. е. для уравнения (313), имеем: 
- 2 52 = р в 
Хр = Хо = ПН + ту — 12, хз =, -2\ п 15; (321) 


}" 





Ь=В3 = [35 р 28а | 2 [5 то 
В 12 1 1 2 (322) 
В итоге для В имеем те же вышеуказанные три варианта, но теперь 
с конкретной интерпретацией, с учётом значений корней Х |, Хх. их.: 


тах(0, В3) < п < 9? <> тах(0, В) < т; < а. (323, 324) 


В данном случае при х. = 0 (т, =0) имеем Зи = 415 и обратно, 
где В =0; при х; > 0 (т, > 0) имеем пе > 4112 и обратно, где В < 0; 


при х. < 0 (что не допустимо!) имеем зт? < 415 и обратно, где В > 0. 
Варианты В < 0 отвечают в (324) пит {т .} = 0. Вариант В > 0 отвечает в 
(324) пи {тп 3} =В. Это объясняется просто тем, что при йа ; = 0, согласно 
(307), тут должно обязательно выполняться более строгое критическое 
неравенство пе > 45. Однако, если последнее не выполняется, то 
тогда обязательно т. > В > 0. Очевидно, что знаки равенств в (323), 
(324) отвечают парам равных корней х/ = х. в (317), (319), но при этом 
неравному им х.. 

Итак, выше были рассмотрены три способа проверки корректности 
всех коэффициентов для уравнения 3-й степени (313): с применением 
дискриминанта, с применением метода Штурма и с применением 
метода Лагранжа. Все они приводят к одному и тому же результату. 
Первый способ пригоден только при п < 3. Второй и третий способы 
с увеличением п более 3-х неизбежно требуют резко возрастающих 
объёмов вычислений, а также проработки множества возникающих при 
этом вариантов. 
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жж 


Поэтому далее установим общий аналитико-геометрический метод 
для последовательной проверки корректности медиан алгебраического 
уравнения степени п в приведённой форме (298). Он позволяет дать 
теоретическую картину корректности коэффициентов алгебраического 
уравнения при любом значении степени п,т.е., наконец, сформулировать 
необходимые и достаточные требования к ним для вещественности и 
положительности всех корней уравнения. 

Начнём также с уравнения (313). Выразим из него коэффициент п 
как функцию от х: 


у3(®) =0 <> 3(х)=х? 31-х? +302 -х, (325) 


где т, > м, > 0. (При ш, =ш, = м, > 0 уравнение (313) имеет 
биномиальную форму р х, =х, =х, > 0.) Все возникающие варианты 
графиков функции 013(х) при корректных значениях Ш, > Ш, > 0 
отображены в виде геометрической интерпретации на рис. 7. Находим 
аналитически точки максимума е" и минимума х>_ этой функции через 
сопутствующее уравнение порядка п — | =2: 

1 дз $ а в 
———=у,(х)=х“-2щ:х+12 =0. (326) 
3 а 


Отсюда имеем: 

1-2 2 ке) РР < 0; 
_ м - 

1+7 -т2 5% +6. п п > 0. 


а 


Начальные значения: п (0) =0, а — в (0)= 312 > 0. 
аз 











Подставляя эти значения аргумента х в функцию (325), получаем 

— 3 — - 3 
те же границы интервала п () = Ми п (х›) = В, что были 
получены ранее по формулам (318) и (322). Но теперь на рис. 7 можно 
весьма наглядно и чисто геометрически интерпретировать допустимые 


ь —3 
интервалы для корректных значений высшего коэффициента 1013 по 
неравенству (294), выведенные именно дифференциальным способом. 
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Сравнительный объект: 
биномиальное уравнение 


У) = (х-9)*=0; 





Рис. 7. Варианты допустимых интервалов для корректных значений 
3 И 

высшего коэффициента 113 алгебраического уравнения 3-й степени при 

корректных значениях т, и 1.. 


Изменение высшего коэффициента п в исходном уравнении (313) 
геометрически эквивалентно тут смещению оси Х по вертикали либо 
вверх, либо вниз. При этом точки пересечения этой оси с кривой 13) 
являются тремя вещественными положительными корнями уравнения 
(313) с изменяемым коэффициентом п до тех пор, пока смещение по 
ординате находится в границах неравенства (323). 
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Причём экстремальные верхнее или нижнее ненулевые допустимые 
значения 3х) отвечают появлению двукратных корней уравнения, 
т.е. либо х, =х, = Хх, согласно (317), либо х, =х›=х. , согласно (321). 
Минимальное нулевое значение отвечает двукратному нулевому корню. 
Эти геометрически наглядные маргинальные свойства имеют общий 
смысл при выборе и интерпретации допустимых границ интервала для 
высшего коэффициента алгебраического уравнения любой степени п. 

Кроме того, обратим внимание ещё на три обстоятельства, которые 
тоже имеют место при любом порядке высшего коэффициента п =К. 
Во-первых, формы кривых у-(х) в (313) и 3х) в (325) тождественные. 
Во-вторых, сопутствующее уравнение (326) имеет ту же приведённую 
форму и с теми же коэффициентами, что и исходное уравнение (313), 
но степень его понижена на |. В-третьих, точки экстремумов функции 
3х) суть решения сопутствующего уравнения пониженной степени. 

Если границы 93 и В?3 (рис. 7) сближаются, то интервал для п 
сужается. Вариант 3 = В3 отвечает биномиальной форме исходного 


уравнения (313). В этом случае допускается единственное корректное 








значение п = о? = В3 (шт, =м, =ш,=а = В). Два дополнительных 
одинаковых корня получаются из-за совпадения п ис 03, ис В3. 
Любые смещения оси Хх от уровня ©? = В3 вверх или вниз приводят 
к появлению пары комплексных сопряжённых корней. Так, уравнение 
Уз(®) = (х- а) + с =0 прис 2 0 обязательно имеет пару комплексных 
сопряжённых корней и один вещественный корень. 

Уже при п = 3 видно, что 1-е ограничительное неравенство т. < Т | 
есть необходимое требование для выполнения последующего 2-го 
ограничительного неравенства (324). Причём само (324) более сильное 
требование к 11 ,, нежели иерархическое неравенство 0 < т. < т.. 

Обратим внимание и на то, что (43, В3) есть интервал для т при 
котором корни уравнения (283) суть вещественные и положительные, 
т.е. при 0 < м, < т.. Если же последнее требование снять и перейти 
к корректным значениям коэффициентов Ш и по при ограничении 
по < пе ‚ то отсюда имеем интервал для т, при котором корни уравнения 


3-й степени в знакочередующейся форме просто все вещественные! 
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Перейдём к общему алгебраическому уравнению степени п > 3, 
выраженному в приведённой форме (298). Согласно признаку Декарта, 
все его коэффициенты К, должны быть здесь положительные. Согласно 
же иерархическому признаку, для небиномиального уравнения должны 
выполняться неравенства т, > Ш. >...> ш, > 0. Причём 1-е из них 
слева есть и 1-е ограничительное неравенство для Т›. Последующие, 
разумеется, будут слабее ограничительных неравенств для Т,, ..., 1. 
Они являются необходимыми условиями выполнения этих неравенств. 
Поэтому, хотя с формальной точки зрения исходное требование к этой 
иерархии медиан проверять не обязательно, но с практической точки 
зрения предварительная проверка иерархии медиан является простым 
и мощным фильтром для отсева уравнений с заведомо некорректными 
коэффициентами! (При т, = 1, =... =; > 0 тривиально следует, что 
уравнение имеет биномиальную форму, т.е. х=х.=... =х,=и>0.) Но 
при т: 


) 
исходное уравнение обязательно содержит комплексные сопряжённые 


= т, = 0, например т. = т,, и при неравных им некоторых т; 


корни. Тот же факт имеет место при любом ином нарушении иерархии 
положительных медиан, в силу иерархического признака. В качестве 
медиан здесь фигурируют средние алгебраические от корней уравнения. 
Геометрическая интерпретация отображена на рис. 8 (Т)и (2) прип=4 
и на рис. 9 (Т) и (2) пип=5. 

Выразим из уравнения (298) коэффициент пл как функцию отх: 


ма (х)=(-1)7 '.х0 +1) 2.2 м -хй 1+... 


ет: ‚их ес Аа е х. В 


Применив к ней теорему Ферма ($ 1.1), получаем сопутствующее 
уравнение степени (п - 1) в той же приведённой форме, т. е. с теми же 


самыми коэффициентами, но вплоть до порядка (п - 1): 





1 ал п пп п-2 1 — 1 п2 
а = (-1) . Уп-1 (х) = (-1) .Х + (-1) Си `Шух НУ 
НСОААА- СА вых +. СИ АО хм =0. — (328) 


— апп — и 
Начальные значения при х = 0: по (0) =0, п т] > 0. 
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Сравнительный объект: 
биномиальное уравнение 


У® = (х-в)*=0; 


оао. в 
т. (0) =а.. 












Рис. 8 (1) и (2). Варианты допустимых интервалов для корректных 

значений высшего коэффициента т д алгебраического уравнения 

4-й степени при корректных значениях 1 |, 1. и 11.: 
(1) — без кратных корней, (2) — с кратными корнями. 
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Сравнительный объект: 
биномиальное уравнение 


У(®) = (х-а)° = 0; 




















Рис. 9 (1). Характерные варианты допустимых интервалов и отсутствия 
таковых вообще для корректных значений высшего коэффициента то 
алгебраического уравнения 5-й степени при корректных значениях 
Ш, м,, Ш., 0, — без кратных корней. 
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ый 


ХЕХ. Р 


1 31 4} 


ео = а Ве] 
Х х› Хх. Хх Хх Хх, Хх. Хх 





Рис. 9 (2). Характерные варианты одиночных корректных значений и 
отсутствия таковых для высшего коэффициента то алгебраического 
уравнения 5-й степени при корректных значениях |, 1, Ш., Ш, — 
с кратными корнями. 
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Вначале обратимся к простому алгебраическому уравнению (298). 
Для уравнения с корректными коэффициентами его корни образуют 
иерархию 0 <х, <х, <... <х,. С учётом вышеуказанных начальных 
значений и из чисто геометрических соображений (теорема Ролля) — 
см. рис. 8(1) и 9(1) — заключаем, что активная часть кривой мс), те. 
(327), с возрастанием х > 0 должна обязательно в силу непрерывности 
последовательно проходить череду максимумов мис’) и минимумов 
02) причём всего п - 1 раз, т. е. между 0 их, между х, их,, между 


ХоИХь, ... ‚между х, | их,. Кроме того, ось абсцисс х, смещённая вверх 


на величину м должна пересекать кривую мл(х) вп точках х,Х., Х., 
Хы? --. › Хи» Т. ©. корнях исходного простого уравнения степени п. 
Причём при х = 0 и в корневых точках последовательно чередуются 
положительные и отрицательные первые производные функции мис). 
С другой стороны, в корневых точках Хх", хх; ,... сопутствующего 
уравнения (328) степени п - 1, в которых первые производные функции 
мл) нулевые, чередуются отрицательные и положительные первые 
производные функции (328), т. е. функции (-1)' 1. У, 1(х). Они же, 
с точностью до множителя п, суть вторые производные функции мс), 
определяющие в этих корневых точках характер её п — 1 экстремумов. 
Из тех же геометрических соображений — рис. 8(1) и 9(1) следует, 
что для корректности коэффициента пл и медианы т, необходимо 
и достаточно, чтобы они отвечали тождественным неравенствам: 


тах(0, тах[пит пл ры тп < шш[шах п (<) => (329) 


«> тах(0, тах[тит [ 7; (г) < м, < штах[ йа, (хг)]. (330) 


Причём пиш[пах 01 „(х;’)] = ©, тах[пиш па, (х;)] = В. 

Эти геометрические неравенства для корректных значений высших 
коэффициента и алгебраической медианы обобщают ранее полученные 
частные неравенства (323), (324) для п = 3. Здесь также знак равенства 
верхнему или нижнему экстремуму, в том числе нулевому при В = 0 
(но не просто нулю при В < 0) отвечает появлению кратного корня в 
исходном уравнении (298), т. е. отвечает нарушению его простоты. 
Поэтому для рассматриваемого простого уравнения знаки равенства 
в (329), (330) не должны иметь места. 
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Отсюда же следует, что для корректности мо в простом уравнении 
(298) чисто геометрически необходимо, чтобы сопутствующее ему 
приведённое уравнение (328) степени п - 1 также было простым и имело 
вещественные положительные корни 0 < х/" <х, <х,,.... — всего 
п - 1. Иначе не обеспечивается необходимая, по сути, волнообразность 
функции мс) и её п раз пересекаемость со смещённой вверх осью Хх 
на величину корректного мл. Поэтому для корректности высшего 
коэффициента мо необходима корректность предшествующих ему 1, 
—2 ее 


п- 
Ш.›, ..., Ти_р 


в той же самой приведённой и простой форме, но степени п - 1. Как 


или коэффициентов сопутствующего уравнения (328) 


видно, ситуация с проверкой корректности высшего коэффициента 
о простого уравнения степени п вернулась к исходной, но теперь 
применительно к высшему коэффициенту в для сопутствующего 
уравнения (328)! Повторяя данную процедуру п - 1 раз, приходим 
к изначально корректному простому сопутствующему уравнению 1-й 
степени у | (х) = х — т, = 0. Оно имеет решение х, = т, > 0. При этом 
строго обосновываем здесь формулу (294) для корректных значений 11,, 
анализируя следующее за ним сопутствующее и обязательно простое 
уравнение 2-й степени у,(х) = х?-2. Ш, -х+ по = 0 (тдех, = х.). 
Обратно, корректность т и 1, необходима для корректности 11; 
корректность Ш |, Ш, и Ш, необходима для корректности Ш. и т. д. 
вплоть до медианы т „. Проверка корректности высшего коэффициента 
в прямом порядке, начиная с п, выполняется, согласно требованиям 
всех геометрических неравенств типа (329), (330). Причём получаемые 
последовательно в данном процессе сопутствующие уравнения степени 
3,4, ...4,..., (п — 1) содержат те же многочлены у/(х), что и каскад (310). 
Изменение коэффициента пл, см. рис. 8(1) и 9(1), эквивалентно 
смещению оси х по вертикали или вверх или вниз. Исходное положение 
этой оси отвечает значению пп = 0. Оно может быть и корректным, и 
некорректным — в зависимости от того, отвечает ли неравенству (329) 


или нет. 
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Точки пересечения оси х на её уровне мл с кривой м(х) суть 
п вещественных положительных корней простого уравнения (298) — до 
тех пор, пока та находится внутри границ неравенства (329), т.е. между 
минимальным максимумом и максимальным минимумом ми), но не 
ниже 0. Здесь используется то обстоятельство, что форма степенной 
кривой у,(х) всегда есть инвариант относительно коэффициента а. 
Причём для родственной ей кривой пи(х) форма у„(х) при чётных п 
попросту отражается относительно оси х, а при нечётных п — нет. 

Заметим также, что эти разнообразные варианты степенных кривых 
порядка п, условно отображаемые на рис. 8 (при п =4) и на рис. 9 
(при п = 5), теоретически воспроизводимы в аналитической степенной 
форме с использованием интерполяционных многочленов Лагранжа 
порядка п, реализуемых каждый раз по (п + 1) точке. (В частности, эти 
многочлены могут быть и кратными!) 

Далее рассмотрим особенности, которые могут вносить в процедуру 
проверки корректности непростого уравнения его кратные корни. 
Пусть при некотором порядке { в процессе проверки корректности он 
сопутствующего уравнения степени {-— 1 выясняется, что он корректен, 
но ось Х на уровне п касается либо минимального максимума, либо 
максимального минимума кривой ПХ) — см. рис. 7, 8(1) и 9(1). 

Алгебраически это означает, что абсцисса точки касания х; есть как 
однократный корень сопутствующего уравнения степени { —1, так и 
двукратный корень сопутствующего уравнения степени {. Затем при 
переходе к следующим сопутствующим уравнениям степеней {+ 1,...— 
вплоть до исходного уравнения степени п кратность корня возрастает 
каждый раз на | и в уравнении у,(х) =0 она составляет (п — +2). 
Действительно, многочлен у./(х) получается в результате поэтапного 
дифференцирования многочлена у, (Х), как в каскаде (310), п — Ё раз. 

Геометрически факт касания оси Хх на уровне те кривой п, т. е. 
одного из экстремумов в неравенстве (329), отвечает алгебраически 
знаку равенства в нём же либо сверху (справа) минимаксу, либо снизу 


(слева) максимину (при х; >0). 
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При дальнейшем увеличении степени сопутствующего уравнения 
высший коэффициент теряет степень свободы для изменения вверх или 
вниз, так как при отклонении от своего единственного уровня м (х?), 
где ] > уравнение (298) и ]-е сопутствующее уравнение теряет эти 
кратные корни, что компенсируется появлением неких пар комплексных 
сопряжённых корней. Но корректное значение высшего коэффициента 
муху в варианте с кратными корнями х; должно формально также 
отвечать геометрическим неравенствам (329), (330) — рис. 8(2) и 9(2). 
Отсюда, с учётом изложенных особенностей, следует, что неравенства 
типа (329), (330) формально действуют и для алгебраических уравнений 
с кратными корнями, т. е. непростых! Отсюда исходя из внешнего вида 
некоторых алгебраических уравнений можно сразу сделать вывод, что 
они имеют комплексные сопряжённые корни. Приведём отдельные 


характерные примеры таких уравнений: 


уп (х) = (х-а)й +с=0,тдеп>2,с=0; 

у (х)=(«-а)).....(х-а) :....(х—ау) + с=0, где 4. >2,с#0; 
а: 9; 

Уз (®) =(к-а1).....(к-а/) 1 .....(х-а)) 1....(х-ар) + с=0, 


где 4; и/или 4, > 2, с = 0. При наличии нескольких кратных корней, 
например, х; их, см. рис. 9(2), единственное возможное корректное 
значение высшего коэффициента должно находиться только на одном 
уровне п («7 = п (х7. Именно при этом высшем коэффициенте могут 
сосуществовать совместно все различные вещественные кратные корни 
алгебраического уравнения с вещественным спектром! 

В иной трактовке: когда соседние некратные экстремумы кривой 
пм), постепенно приближаясь друг к другу, сливаются в одну точку 
стационарности, число слившихся точек экстремумов и его чётность 
или нечётность определяют кратность 4; корня Хх, а также характер и 
уровень стационарности обычным образом ($ 1.1.1). При этом ось х 
на уровне пах!) должна пересекать кривую мл) ещё (п - 4;) раз, а 


в случае нескольких кратных корней — ещё (п — 74.) раз. 
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Однако в схемах чередования знаков первых и вторых производных 
функции пм), см. выше, получаемые в точках стационарности х; 
нулевые производные гораздо удобнее для универсальности этой схемы 
засчитывать по кратности корней 4.. 

В общем плане, сравнивая всевозможные варианты кривых пми(х) 
на рис. 7, 8 и 9, приходим к весьма существенному и общему выводу: 
«Только до п =4 всегда можно гарантировать то, что при корректных 
значениях предшествующих коэффициентов (медиан) найдётся некий 
интервал, в том числе, возможно, и вырожденный в одно число, для 
корректных значений высшего коэффициента (медианы). Но при п > 4 
и корректных значениях предшествующих коэффициентов (медиан) 
вообще нельзя гарантировать наличие корректного значения высшего 
коэффициента (медианы), даже вырожденного в одно число.» 

Весьма примечательно здесь то, что критическое значение степени 
алгебраического уравнения п = 4 совпадает с таковым в знаменитых 
теоремах Абеля и Галуа! (Возможно, это объяснимо топологически.) 

Прип > 4 всегда возможно указать такие особые формы кривых для 
степенных многочленов алгебраического уравнения у, (Х), при которых 
имеет место геометрическое контрнеравенство: 


тах(0, тах[тийа пп (х)]У > штах Па (х')] . (331) 


Если выполнено данное контрнеравенство, то корректное значение 
высшего коэффициента отсутствует. Следовательно, тогда же исходное 
уравнение (298) обязательно имеет комплексные сопряжённые корни. 
Понятно, что подобный результат может проявиться ещё раньше на 
каком-то сопутствующем уравнении степени # < п. 

Теоретически, чтобы проверить корректность всех коэффициентов 
простого алгебраического уравнения вида (298), вначале целесообразно 
проверить соответствие его алгебраических медиан 11: иерархическому 
неравенству (224), когда проверяется и корректность коэффициентов К\ 
и К,, согласно неравенству (294); затем последовательно при фот 3-х до п 
найти максимумы и минимумы функций пах) с поэтапной проверкой 
соответствия значений всех высших приведённых коэффициентов п 
геометрическим неравенствам типа (329). В анализе сопутствующих 
уравнений, может быть, эффективно применять компьютерные модели 
функций пКх). Причём достаточно исследовать априорные интервалы 
для аргумента 0 - [1 + тах | К, |]. 
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Суммируя все вышеизложенные выводы, сформулируем теорему 
о корректности коэффициентов (медиан) простого алгебраического 
уравнения степени п, что иллюстрирует для него полные требования 
для вещественности и положительности всех его п различных корней! 
Теорема 10 (о корректности коэффициентов и медиан). Для того 
чтобы все коэффициенты п (медианы т) простого небиномиального 
вещественного алгебраического уравнения степени п > 2 в приведённой 
форме были корректные, т. е. для того чтобы все корни уравнения были 
вещественные и положительные, в целом необходимо и достаточно: 
во-первых, чтобы его малые медианы удовлетворяли иерархическому 
неравенству 11, > 1,>...> Ш, >, > 0 (иерархический признак), и, 


— 
во-вторых, чтобы коэффициенты 1 отвечали частным геометрическим 


неравенствам 
тах(0, пах[тт т | т < шш[мах т (Хх: У] (332) 
в последовательности { = 3, ..., п; где х: и х; — точки максимумов и 


минимумов для функций п (х). 





В частности, из каждого геометрического неравенства (332) следует 


тождественное ограничительное неравенство для корректных медиан: 


тах(0, пах[тит [174 (х )1 < т; < шшроах[ т, (х: )]. 


Здесь шии[тахт „(х*)] = ©, тах[питта (х”)] = В, — верхний и нижний 
пределы, обобщающие параметры © и В из формулы (324). 

Отметим, что при нарушении простоты в цепи уравнений в случае 
равенства коэффициента п либо слева плах[пийа 1 (х;)], либо справа 
пай тах а! (©), либо п (х) в точке х, = г-образного или в точке х, 
5-образного стационарного перегиба та же точка стационарности х, 
играет роль и кратного корня уравнения. Она определяет однозначно 
единственно возможные значения высших коэффициентов т! (х.), где 
]=61+1, 1+2, ..., п, во всех дальнейших непростых сопутствующих 


уравнениях и в исходном непростом алгебраическом уравнении. 
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И ещё один важный вывод. Корректный ряд алгебраических медиан 
т, ..., п, всегда можно дополнить корректной медианой п1,,| только 
при { < 4. Например, корректные Ш/, т., 1, дополняются всегда 
корректной 11 .. Но при {> 4 такое можно сделать не всегда. Например, 
имеются корректные т |, 11, Ш., П14, недополняемые корректной т.. 
Поэтому для них количество производящих элементов х; > 0 может 
равняться только 4-м. То же правило, согласно имеющейся взаимосвязи, 
распространяется на степенные и реверсивные медианы. 


8 4.5. Нормальное решение и квазирешение вырожденного 
линейного уравнения — вещественного и комплексного 


Векторное линейное уравнение Ах=а, где х—пх|-вектор-аргумент, 
а — пх|[-вектор-постоянная, А — п1хп-матрица-коэффициент, может 
либо иметь одно единственное решение, либо иметь множественное 
решение, либо вовсе не иметь решения. Однако в последнем варианте 
всегда возможно какое-либо квазирешение, которое в общем случае 
может быть единственным или множественным. Причём квазирешение, 
отвечающее минимуму евклидовой нормы ||Ах - а||, определяется как 
квадратичное. 

С другой стороны, единственное решение или квазирешение из их 
же множества, отвечающее минимуму евклидовой нормы ||Х|| или её 
квадрата ||х||?, определяется как нормальное. Кроме того, для решения 
или квазирешения исходного векторного уравнения Ах = а методами 
минимизации базовым понятием является невязка 6(х) = Ах - а. 
Решение или квазирешение вырожденного уравнения рассматривают 
в едином ключе, решая задачу минимизации целевой функции вида 





у = 1869? = Аха? = (Ах а)". (Аха) = шт (333) 


— в случае вещественного аргумента х. Применяя теорему Эйлера — 
Ферма ($ 1.9), получаем общее решение данной задачи, отвечающее 
стационарности функции У(Х) в декартовом базисе: 


1/2. ду/ах = А’Ах-А'а = 0 -> (Хх) Е ХЗ (КегА). (334) 





Поскольку здесь матрица Гессе 4?у/4х'4х = А'А всегда неотрицательно 
определённая, то стационарность функции У(Х) есть её минимум, что 
отвечает минимодульной невязке уравнения Ах=а. 
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С целью геометрической интерпретации в евклидовом пространстве 
введённых характеристик, примем, что х Е <, ае <", АЕ ©” и, 
следовательно, 0(Х) Е <". Если а Е (т А), то любой элемент Х из 
множества (Х) есть решение уравнения Ах = а. Но, если а #& (тА), 
то любой элемент Х из множества (Х) есть квадратичное квазирешение 
уравнения Ах = а, отвечающее минимуму евклидовой длины вектора 
невязки б(х). Ортопроекция множества (Х) на (ип А” = (Кег А) есть 
единственное нормальное решение или квазирешение уравнения Ах=а, 
отвечающее минимуму евклидовой длины вектора |||. 

Далее для формального алгебраического выражения возникающих 
ортопроективных понятий применяются четыре характеристических 


ортопроектора для А и квазиобратная матрица Мура— Пенроуза А*. 


= = 


И 
— ^ = + = = 
А’А . (Х) = А’А - (х + (КегА)) = А’АХ=А'`.Ах=хХ. (335) 
Это иесть нормальное решение или квазирешение линейного уравнения 
в зависимости от того, принадлежит или нет вектор а образу А. 
— 


1. Пустъае (тА) <> а= АА’ а. Тогда в точности имеем АХ =а. 
Умножая это слева на А*, выражаем формально нормальное решение: 


А’. АХ = А’А Хх =А'а=Х'. (336) 


В данном случае минимодульная невязка нулевая: 





5" =АХ -а=АХ'-а=А. А’а-а= ( АА’ -Па=-АА’а=0. (337) 


зы 
2. Пустьае (п А) <> ах АА’ а. Но из (335) имеем 
= 
А’аЕ (шА’ < А’а= А’А А’ а.Тогдавточности имеем А’'АХ= А'а. 
Умножая это слева на (А’'А)*, выражаем нормальное квазирешение: 


(А’А). А’'АХ=(А'А). А’а=А’. (А’'. А’а=А’а= А’'АХЕХ.. (338) 


Следовательно, нормальные решения и квазирешения выражаются 
одинаково. Нов последнем случае минимодульная невязка ненулевая: 


$ 


5"=АхХ -а=Ах'-а=А. А’а-а= ( АА’ -Па=-АА’а#0. (339) 





По геометрической сути, она есть ортоантипроекция а на ядро (Кег А’). 
Поэтому имеет место общее алгебро-геометрическое неравенство: 
5 


Ах + а|? = (Ах+а)". (Аха) > а’. АА’ ла > 0. (340) 





ы 
Или вообще для невязок имеем: СР > а’ АА’ а > 0. 
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В свою очередь, для линейного уравнения Ах = а с комплексными 
элементами на основе эрмитовой комплексификации ($ 3.1) задача (333) 
приобретает форму: 





у=уьх)=у(х,х)= у= 
= 1569 = Аха = (Аха) *. (Аха) = ша. (341) 





Применяя к данной частной задаче минимизации теорему 7 ($ 3.4), 
получаем её общее решение, отвечающее стационарности У(х, Х): 








9у/9х = А"Ах-А"а=0 -+ (ХЕХ + (КегА). (342) 


По той же аналогии выражаем нормальное решение или квазирешение 
в 961 и минимодульную невязку линейного уравнения в Ябт: 





г 

х=ААХ=А’.АХ = А*а, (343) 
= ге 

5"=АхХ -а=Ах`-а=А.А’а-а=(АА’-ПГа=-АА”а. (344) 


Аналогично (340) имеем алгебро-геометрическое неравенство: 


* * 


Ах + а? = (Ах+а)*. (Аха) а. АА’ а> 0. (345) 














Далее, не нарушая общности решения задачи (с учётом возможного 

использования эрмитовой аналогии) имеем 5 вариантов. 
ЗЕ А 
п=м = гапё А; Хх =А а здесь обычное решение уравнения с 
невырожденной квадратной матрицей А; при этом формально 0° = 0. 
в т 
2) п>ш = гапе А; Х =А'а— здесь нормальное решение уравнения; 
> 
* = 0, так как АА” = Иль т.е. (т А) = «т. Причём для вычисления А* 
применяется рациональная формула: А+ = А’. (АА’-! = А. 
3) ш>п = гапе А; Х = А'а— здесь единственное решение или 
= > 
квазирешение, так как А’А = [,,т.е. (Кег А) = 0; при этом 6' = -АА*а. 
> 
Для вычисления А*и АА’ также применяются рациональные формулы 
> = 
+ —1 —1 + 
А`=(А’А) .А'=А т, АА’ =1- АА” =1-А.А.. 
о + 
4) п> т>тапе А; Хх =А'а— нормальное решение или квазирешение 
> 

в зависимости от значения 0" =-АА^а. 


2 ть 
5) т>п>тапе А; Хх =А а нормальное решение или квазирешение 
> 


в зависимости от значения 0” =-—АА”а. 
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В вариантах 4 и 5 формульные выражения для ортопроективных 
характеристик через элементы А и а производятся точно через самые 
общие формулы для характеристических проекторов и квазиобратной 
матрицы Мура — Пенроуза. Эти формулы и структуры фигурирующих 
в них специальных матриц установлены автором ещё в начале 1981 г., 
но были опубликованы гораздо позднее в его монографии [27]. Для их 
вывода, применительно к частным задачам типа (333) и (341), автор 
изначально использовал аналитический предельный метод решения, 
изложенный в $ 2.4 в трёх различных формах. Выбор композиционной 
функции — либо (108), либо (110), либо (113) тут на окончательные 
результаты не влияет. Отправной точкой для исследования послужила 
тогда известная публикация А. Н. Тихонова 1965 г. [36]. Например: 


у(х) = 1/2 .х’-х, В(х)=Ах-а, Ф(х)= 1/2 - в' (х) : Вх); 
Ко(х) = $(х) + а - у(х), а — 0; 


[ке = (А’А+а-1).х-А’а=0 > 





дх 


5 2 - ва (АЗОТА а А*а (346) 


© —> со 


Отсюда далее были получены предельные формулы вида: 


А+ = [т [(ААче-ИГ' А |= т [ААА | (347, 348) 


0 —> оо © —> ео 


— 
А’А=А*.А= т (мае) ТАА | - Вт [“А(ААчО- | (349, 350) 
0 —> со 0, —> оо 


с 
АА’=А-А* = Вт ГАА (ААча- | а (АА АА (31, 352) 


0(—> со 0{[—> со 
> = Е 
А’А=1-А’А= [т [е-(А’Аа-1) | (353) 
0/—> со 
— = 1 
АА’ =1-АА’= Шт [а (АА’+0-1) | (354) 
0/—> со 


Пределы вычислялись через резольвенту матрицы В = А'’А или АА':; 


Во = 6+00_ 
де (Ва. 
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После вычисления этих пределов были получены точные формулы 
для ряда характеристических матриц, производимых из них проекторов 
и квазиобратной матрицы Мура — Пенроуза. 


В =ККВ, 9) /КВ, Г), В =К(В, Г) / КВ, В. (355, 356) 


Здесь К(В, г) — скалярные характеристические коэффициенты матрицы 
порядка г ($ 4.1); К (В, г) иК(В, г) — матричные характеристические 
коэффициенты матрицы В порядка г (1-го и 2-го рода), вычисляемые 
через её элементы, согласно их специальной структуре. Именно через 
них в общем случае выражаются аффинные проекторы (355) и (356). 


А*=А’. К(АА’ т 1) /К(АА', г) = ККА’А, г 1). А’ /К(А’А, г) = 


= Аа) /К(АА,, г) = А@/К(А’А, В), (357—360) 


где А (Г) — характеристическая матрица для прямоугольной (в общем 
случае) матрицы А, вычисляемая либо через вещественные, либо через 
комплексные элементы, согласно её специальной структуре. 

Для комплексного уравнения Ах = а в формулах (346) —(354) и 
(357)-—(360) фигурирует эрмитово транспонирование. (Соответственно 
в предельном методе аналитической оптимизации применялось именно 
формальное дифференцирование!) 

Согласно (335), нормальное решение линейного уравнения Ах = а 
геометрически есть основание перпендикуляра, опущенного из центра 
декартова базиса на плоскость (Х). По сути, формулы (336), (357)—(360) 
вместе дают точное и общее решение задачи аналитической геометрии: 
«Найти основание перпендикуляра, опущенного из центра координат О 
на некую плоскость, заданную линейным уравнением Ах = а.» Это есть 
задача на условную минимизацию целевой функции у = у(х) = |Х2, где 
х— векторная переменная, ограниченная уравнением В(х)=А\х-а=0. 
Однако ту же плоскость можно задать и параметрическим способом — 
через линейно зависимую переменную Х = х(и) = Ам, как, например, 
это в самом общем случае применялось ранее в $ 2.1. Тогда имеем: 

(Х) Е Х +(шА)) ЕХ + (Кег А/), где А иА, — шхп и пхт-матрицы, 
= > > — 
причём п > т, связанные как А/’А, = А.А,’ <> АГА, =А.,А,’. 


Умножая тут слева любое частное решение Х на А‚’А, или А.А.’, 
в итоге в обоих вариантах задания плоскости получаем одно и то же 
нормальное решение, или нормальную проекцию (перпендикуляр) Х`. 

Нормальное решение Х` не инвариантно к масштабным и вообще 
клинейным преобразованиям, за исключением лишь ортогональных, что 
прямо следует из формул для квазиобратной матрицы типа (357), (358). 
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8 4.6. Экстремумы отношения Релея 

Отношение Релея для вещественной симметричной матрицы 5 или 
более общо — для комплексной эрмитовой матрицы Н определяется 
как скалярная функция отх Е <21 (в декартовом базисе) вида [25, 32]: 


пех (#0). (361) 


Нетрудно видеть, что в однозначной трактовке отношение Релея 
есть функция от направления радиус-вектора Хх из начала координат, 
так как оно инвариантно к прямо пропорциональному преобразованию 
х —> с. х, где с = 0— свободный скаляр. Вектор-аргумент в (361) может 
быть весьма разнообразной природы. Например, в формуле (58) это 
были дифференциалы независимого аргумента. (Здесь отношение Релея 
оценивало степень растяжения-сжатия координат.) Главный интерес в 
линейной алгебре к отношению Релея состоит в том, что его экстремумы 
суть максимальное и минимальное собственные значения матрицы 5, 
т.е. шах(и,) итик.) (см. также в этой главе $8 4.1, 4.2). 

Весьма важно то, что монарное отношение Релея (361) — инвариант 
ортогональных модальных преобразований В (В’В = ВК' = 1). Поэтому 
его как инвариантную функцию можно изучать в любом подходящем 
ортогонально преобразованном базисе Е. Если исходные координаты 
заданы в декартовом базисе Е, то в некотором другом декартовом 
базисе Ё, = В.Е вещественная матрица 5 из (361) представляется в 
форме диагональной матрицы собственных значений: 


3=В.О, В 0, =В'.$ В. 


Отношение (361) в базисе Е, от аргумента и = В’ х, сохраняя свои 
абсолютные значения, приобретает упрощённый функциональный вид: 


С 2 
Г Уна 
бра 
Е (и#0). (362, 363) 


п 
Хы 
1=1 





Хе (х) = (и) = 


Собственные значения 1, могут быть любыми вещественными числами. 
В частности, если ы,= 0, то её $ = 0. Но, как правило, здесь её $ = 0. 

Найдём в новом декартовом базисе Е, = К - Е области и значения 
всех стационарностей отношения Релея и, главное, — его экстремумов. 
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Применяя теорему Эйлера — Ферма, получаем градиентное уравнение 
для искомых областей стационарности: 

2 2 2 2 
1 Те (ы ный } ов ра ова-[ вера 8 } а] 


2 4 М 








-аТ,.. Ци Ч. и ,.... 9. 
_ | [> >Ил п — Леа). | 1 ВТ —(). (364) 
тт. ее. 


Отсюда следует итоговое уравнение: 
| -11,...Ип Иа | = Хе(и) | ,... ап ‚ или в матричной форме записи 





Ру -и= Яе(и) и =ц:и. (365) 


При |; 7 |; оно даёт решения в виде п координатных осей декартова 
базиса Е т. е. в виде п попарно ортогональных собственных векторов 
и, = се, матрицы 19) и С ТОЧНОСТЬЮ ДО свободных множителей с, = 0, где 








е, — единичные орты декартовых координат: ее, = 1, е;.е; 0 (е;е; 7). 
В направлениях из центра базиса Е, отношение Релея, согласно (365), 
принимает значения д, = ХКе(и,), где {= 1,2,... ‚ п (по осям базиса). 

В исходном базисе Ете же направления задают собственные векторы 
матрицы $, получаемые здесь преобразованием х, = Ки,; соответственно 
Ке(х,) = Же(и)) = н.. Уравнение (365) в Е имеет форму: 


$.х= Же(х).х=Ц-х. (366) 


Его решения при |; * н; есть п попарно ортогональных собственных 
векторов х, = с,-Г, матрицы $ с точностью до свободных множителей 
с, = 0, где г, — единичные собственные векторы 5: г’, = 1, г.г, =0 


> 
(гигу= 7), но кк, = Зь где $, = {$ — №. 1} — я собственная матрица 


> 
ранга (п — 1), $, — ортопроектор на (Кег 5.) = (ип х,) = (ии с.г). 

Но в случаях вырожденности некоторые собственные значения |, 
имеют кратность К, > 1. Тогда их линейно независимые собственные 
векторы х, в кластерных прямых суммах составляют систему 11 попарно 
ортогональных собственных пхК-линеоров А, = [Х,|›....Ху› Которые 
задают собственные линейные подпространства (ип А,) размерности К.. 
На этих подпространствах отношение Релея (361) стационарно и имеет 
значение |. (В прямой ортогональной сумме они составляют ‹<2^.) 
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Если каждый собственный пхК-линеор в базисе Е составляется из 
К ортонормированных векторов Г, то он принимает структуру и имеет 


свойства квазиортогональной матрицы Ка, = [г 5 Г.К для которой 


В 
- 
имеем: Ка. Ка. =1, Ка; Ка; = 2 (Ва; . Ка’ = 7), но Ва. Ка! = $4, 


где 5, = {$ —и, : [} — Ея собственная матрица для 5 ранга (п —К,); 
> 





5: ортопроектор на (Кег5,) = (ипКа,)=(пп А, ), применяемый в общем 


ш > ш 
спектральном разложении матрицы типа 8 = уз + - 51 р 5: = ь где 
1=1 (=1 


ш-—_количество различных И. Полноемножество собственных линеоров 
с значением ри получается, например, из ортонормированного линеора 


через свободную несингулярную К,К/-матрицу С;; 


Итак, выше были полностью охарактеризованы как все области 
стационарностей, так и стационарные значения отношения Релея (361). 
Для идентификации этих стационарностей и, в частности, выявления 


экстремумов отношения Релея (максимума и минимума) вычисляем его 


матрицу Гессе с использованием декартова базиса Е: 














2 2 и - 11 
ь (+ ) Би -2. г -| 1..5 Мо | 
т а? _ Дам 
2 аи’ди 2 2 
Ч] +... Чл 
м1 
| А и1,.... 9 
п ый: | - 61-5 Мо М Яе(и). |6 п. 
а и +...412 ОА 
2 2 1 
91 +... |[-2.|... |*|91,--. Ча 
Чт 
+.Же (№). (368) 
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Отсюда следует, что при |; * ы; на п координатных осях и, базиса 
Е, имеем соответственно п различных собственных значений матрицы 
Гессе |, в той же её диагональной форме О. 


4? Же 2 2 
т та мм ь (369) 





1 и 


Пусть Итах = пах (м) и и = пит «и,). Тогда, согласно (369), на 
координатной оси Ч(И„„) и только на ней целевая функция (361) 
принимает нестрогий максимум, вырожденный вдоль именно этой оси; 
ана координатной оси и(И/;„) и только на ней целевая функция (361) 
принимает нестрогий минимум, вырожденный именно вдоль этой оси. 
Это видно по знакам диагональных элементов матрицы Гессе (369): 
в первом случае (и; — Их) < 0 и во втором случае (р; — ии) > 0. 
Соответственно на других координатных осях и, знаки диагональных 
элементов (и; — Ц‚) матрицы Гессе (369), кроме нулевого при 1 = %, 
обязательно различаются. Поэтому на этих областях стационарности 
целевая функция (361) принимает нестрогие стационарные седловины. 
(О подобных критериях характера стационарности говорилось в $ 1.9.) 
Причём при м; = Ы; степени вырожденности всех этих стационарностей 
равны 1. Однако, когда какое-либо собственное значение |, имеет тут 
кратность К, > 1, тогда степень вырожденности {-Й стационарности 
возрастает до К.. В частности, это может относиться также к Итах И Ити» 
т. е. к максимуму и минимуму функции (361). 

В исходном базисе Е матрица Гессе отношения Релея при х = Хх, 
имеет форму: 

а? Же 2 
И 
ах’ах хх 


Итак, для вещественной симметричной матрицы 5 = 5’ отношение 


о 


ХЕХ! 





(370) 


Релея (361) принимает стационарные значения |4, всегда, когда аргумент 
является собственным вектором х, (при К, = 1) или, наиболее общо, 
отвечающим ему собственным линеором А, (при К, > 1). Экстремумы — 
максимум и минимум отношения Релея достигаются на векторах Х,, 
которым соответствуют максимальное и минимальное собственное 


значение М матрицы 5. 
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Крометого, на основании эрмитовой комплексной аналогии, с учётом 
операций формального анализа (см. $5 3.2 — 3.4), те же результаты 
решения этой экстремальной задачи распространяются на отношение 
Релея для комплексной эрмитовой матрицы Н = Н*: 


Пед (к=#0). (371) 


Заметим также, что общие формулы (366) и (370) в базисе Е могут 
быть получены тензорным дифференцированием функции (361) и её 
градиента по векторному аргументу х. Но при таком непосредственном 
дифференцировании, например, в базисе Е нужно руководствоваться 
тензорными формулами для дифференциалов и тензор-производных: 


4(х’.5.х) =24х’5-х=2(4х’5-х)’=2х’.Зах, (372) 

4(х’.$.х) | 4(х’. 5-х) 

2х .5 < о =25.х; (373, 374) 
ах 4х’ 

4(х*.Н.х)=24х*Н.х=2(4х*Н-х)*=2х*.Нах, (375) 

а(х*.Н.х) а(х*.Н.х) 

ыы (376, 377) 
4х 4х* 


а также стандартными формулами дифференцирования произведения и 
отношения 2-х скалярных функций. 

Отметим, что в самом общем плане для изучения таких скалярных 
функций полезны следующие формулы: 








хх. -Х=Х’.5.х, [ев х-к-К-к- 0] (378) 


В+В* 


— * 
х*.В.х=х*. В 








схактенох, [х* Е хх". 0-х=0] (379) 


Соответственно матрица В в скалярных функциях отношений типа 


х.В.х х*.В.х 
у =— 5 У = _ м0 (380) 
х’.х х*.х 


заменяется везде без изменения их значений (!) матрицами $ и Н. (Все 
вышеуказанные формулы доказываются непосредственно в матричном 
представлении, для чего их нужно выписать поэлементно.) 
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Квадратичные х’.5.х и эрмитовы х*.Н-х формы при линейных 
преобразованиях базиса и соответственно аргумента преобразуются до 
канонических форм типа и’. .шии*.[- - и. По закону инерции форм 
Сильвестра — квадратичных и эрмитовых, как известно, при подобных 
(конгруэнтных) преобразованиях знаки собственных значений матрицы 
не изменяются, а нулевые значения остаются нулевыми. Отметим, что 
на монарные отношения Релея (361), (371) линейные преобразования 
не распространяются, так как они теряют свою инвариантность. Но для 
(378)-(380) допускаются опять-таки только ортогональные (унитарные) 
преобразования, приводящие 1-ю компоненту В к диагональной форме! 

Далее рассмотрим решение задачи на экстремум (стационарность) 
бинарного отношения Релея. Оно определяется как скалярная функция 
отх| ИХ, Е ©" (ваффинном базисе) вида: 
х›’.Р.х| 


^ 


Х2 1 


Же (х,хо)= (Х1,Х2 #0), (381) 


где Р — вещественная простая матрица с вещественным спектром (!) 
собственных значений. Однозначно бинарное отношение Релея (381) 
есть функция от направлений по х| их, из начала координат, в силу 
того, что оно инвариантно кпрямо пропорциональным преобразованиям 
типа Хх; >С; Хх; их, —> С). Х», где с} › * 0— свободные скаляры. 
Проясним вначале вопрос: при каких дополнительных требованиях 
бинарное отношение Релея будет инвариантом линейных модальных 
преобразований? Тогда его как инвариантную функцию можно будет 
изучать в любом более подходящем аффинно преобразованном базисе. 
Если исходно координаты заданы в каком-то аффинном базисе Е, то 
в некотором другом базисе Ё =У . Е исходная простая матрица Р 
представляется в форме диагональной матрицы своих собственных 
значений: Р = \У.0 „У! <>), =\У-1.Р .У. Бинарное отношение Релея 
инвариантно к аффинным преобразованиям базиса тогда и только тогда, 
когда исходно координаты вектора х, выражаются в контравариантном 
базисе Ё, координаты вектора х› выражаются в ковариантном базисе Е. 
Они суть взаимные аффинные базисы для одного того же вектора х. 


Бинарное отношение Релея упрощается при переходе в Е: 





ш.Ру-и 
= Же (и) = о (и: 0).(382, 383) 


202 Глава 4. Применение аналитической оптимизации в алгебре 


Поскольку р’, = р, то для диагональной матрицы р, В Ё правые 
и левые собственные векторы тождественные. Отсюда векторы Хх их, 
для инвариантности бинарного отношения Релея должны претерпевать 
преобразование точно также, как правые и левые собственные векторы 
матрицы Р, т. е. как х, = Уи при обратном переходе из Ё вЕ=У\“. Ё 
и как х) = У’ и при обратном переходе из Ё, вЕ=У\’. Е, 

Ввиду полной идентичности в базисе Ё вышеизученного монарного 
отношения Релея (362) и бинарного отношения Релея (383), а также 
инвариантности последнего к взаимным линейным преобразованиям 
базисов, все ранее полученные результаты решения экстремальной 
задачи для отношения (361) распространяются на отношение (381), — 
но пока только в базисе Е. Геометрическая идентичность достигается 
при дополнительном требовании к ортонормированности базиса т 


в обоих вариантах задачи. (Попросту в <? он должен быть декартовым.) 
В исходных аффинных базисах правые и левые собственные векторы 


матрицы Р’ расходятся как х, = Уи, и у, = У" РИ Соответственно 


градиентное уравнение при трансляции в базис Е подвергается, как 
и отношение Релея, подобной бинаризации: 


Ру -ч= Же (и) -и=ц.: и, Р.х=.Яе(х, у) х=Ц-х, 
, , „(<> , , 
и’. Оу= Же (и) ш=ц-и’; У-Р-Ле(х У) УИ У (384 385) 


При п; = ы; уравнения (384), (385) дают решения в виде п пар как 
бы биортогональных собственных векторов х, и у, с точностью до 
свободных ненулевых множителей: х, = с.г, и у, = с„У„, где г, иу,— 
как бы биортонормированные собственные векторы, выраженные в Е 
иЕЁ. ее УЕ г, . У, г, =0 (г, . Уи в. =), 
ь г, У, = Рь гдеР, =Р- ц.-Гесть {-я собственная матрица ранга п — 1, 
Р} есть аффинный проектор на (Кег Р,) = ( пп х,) параллельно (пп Р.). 

Если некие р, имеют кратность К, > 1,то их линейно независимые 
собственные векторы в прямых суммах образуют правые Ат, и левые А, 
собственные пхК-линеоры, задающие правые (ип Аг,) и левые (пп А) 
собственные подпространства. На этих парных подпространствах в 1 


бинарное отношение Релея стационарно и имеет значение И 
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Линеоры Аг, и А|, геометрически как бы биортогональные. Но если 
они составляются из К, как бы биортонормированных правых г, и левых У, 
собственных векторов, то принимают структуру и имеют свойства 
квазибиортогональных матриц Ег, =, ... , Кук и Е ЭУ,ь.- > Ук: 

ыы 1 = 1 — | = $ а Е ®: . 
Причём Ег.Е = ГВ = Ех Е; = Е! Ег=И (Ег-Еь = Е.Ег, =/); 


Ег.Е\ = Рь где Р, =Р -— ц.-Гесть {-я собственная матрица ранга п - К, 
—_ 


Р, есть аффинный проектор на (Кег Р,) = (ип Аг,) параллельно (пи Р,), 
применяемый вобщем спектральном разложении простой матрицы типа 
т > ш > > = 

Р= у | р Р. =Г.Приэтом ЕЁ-Ег =| Р; | =Р; —аффинный 
{= {=1 

проектор на (Кег Р‚') = (пи А1,) параллельно (ип Р,’). Причём полные 

множества пар правых и левых собственных линеоров с значением |, 

производятся, например, из пары как бы биортонормированных линеоров 

умножением справа на свободную несингулярную К,хК!-матрицу С! 
Для иллюстрации экстремальных свойств отношений Релея (361) и 

(381) выпишем достаточно важные неравенства, имеющие прикладное 

значение, в том числе в процедурах оптимизации целевых функций. 


КОХ ЕК ВСЕЙ хх (386) 


Согласно эрмитовой аналогии ($ 3.1), имеем: 


Пит кхе ие (387) 


В частности, для евклидовых (эрмитовых) пространств имеем: 
Но - МР 5х. 3х - МР. (388) 
Если @ = О’ — матрица Гессе скалярной функции У(Х), то имеем: 


. ах’ах < 4х’. С. Чх< и ах - Чх'Ах. (389) 


Ил 
Алгебраический смысл этих неравенств интерпретируется исходя из 

инвариантности квадратичных или эрмитовых форм при допустимых 

для них преобразованиях координат, в том числе в виде (378), (379). 
Для вещественной простой матрицы Р с вещественным спектром 


собственных значений и её взаимных собственных векторов Х| и Х, 
с билинейной формой во взаимных аффинных базисах также имеем: 


в Ри о, (390) 


Иат 
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$ 4.7. Метод наименьших квадратов Гаусса в одномерном 
и многомерном вариантах 


В распространённых прикладных разделах и практических задачах, 
связанных с аппроксимацией и оптимизацией, часто принимается, что 
переменная х = (Хх, х,, ..., Х„) задаётся точно, а целевая функция Ух) 
находится со случайным отклонением от истинного значения У(Х). 
Тогда аппроксимационный анализ поведения этой целевой функции 
трансформируется в регрессионный анализ. При этом обычно исходят 
из нормальной линейной регрессии, в которой принимается (возможно, 
с отдельной статистической проверкой этой гипотезы), что при каждом 
фиксированном точном значении х, выборочное единичное значение 
случайной ошибки для целевой функции (7, — Ук ) как статистика 
подчиняется закону нормального распределения Гаусса с нулевым 
математическим ожиданием | = 0 и постоянной дисперсией 02 = сопз%. 
Этот фундаментальный математически закон впервые установил Гаусс 
исходя из созданного им классического метода наименьших квадратов 
(1821 — 1823 гг.) и анализа распределения случайной ошибки [29, 31]. 

Далее рассмотрим генезис метода наименьших квадратов Гаусса 
(вообще одного из наиболее употребительных в обработке результатов 
наблюдений и экспериментов) — сначала при п = 1, а затем при п > 1. 
При этом используется аналитическая минимизация целевой функции 
в форме суммы квадратов отклонений У от ирямой линии регрессии 
функции на переменную в зависимости от её коэффициентов. 

Сразу же отметим, что как в методе наименьших квадратов, так и в 
корреляционном и регрессионном анализе на его основе применяются 
линейные (в том числе линеаризованные) функции У(Х). Тут Хх и/или у, 
в частности, зависимы от других величин, например, х = {^!, у = ш7. 
Тогда говорят о линеаризации типа 2(@) >> У(Х), т. е. в координатах (у, Х). 
В случае п = 1 целевая функция выражается линейным образом как 


у=у=а вах, (391) 


Пусть имеется М единичных опытных значений функции у а При М 
значениях х =х., где 4 = 1,2,..., № (выборка). Эти значения у имеют 
случайные отклонения от истинных значений у.. Задача метода состоит 
в том, чтобы по имеющейся выборке значений аргумента (точных) и 
функции (неточных) дальше вычислить наилучшие статистические 
оценки для коэффициентов а и ау в (391). 
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А именно, это суть оценки а и а, для априори неизвестных, но 
предположительно точных коэффициентов в функции (391). Для этого 
применяется линейная регрессия типа У|х. Она выражается формулой: 


у= ух =а, +а.х. (392) 


Отсюда вычисляются статистические оценки значений функции Уз при 
конкретных значениях Х.. Идея метода наименьших квадратов Гаусса 
заключается в том, что, для вычисления оценок коэффициентов а 
и а, минимизируется сумма квадратов разностей Ус = У Далее имеем 
стандартную процедуру минимизации функции от 2-х переменных: 





М М 

у, =, (аа) = у (94-9) я 2 (2-х, + 4,9.) =; (393) 
а=1 а=1 

— о р +а.х.-9.)=0 

2 да, =" о 

т. а (394) 


Используя средние арифметические, из системы (394) получаем 
систему из 2-х усреднённых уравнений с двумя неизвестными а иау;: 


у=а,+а-х, (395) 


у-х=а, -х+а.х’. (396) 





где знаменатель должен быть обязательно ненулевым (!). 
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Такие значения оптимальны в смысле их наилучшего приближения 
к точным значениям а и аув (391) — при условии, что ошибки (У, — У, 
подвержены нормальному распределению с постоянной дисперсией. 

Формулы (395)-(398) значительно упрощаются для специальных 


центрированных планов расположения точек Ха: 








М == 
Ух. =0=х а =у. эн х, (399) 
9=1 


Ещб весьма важный и упрощённый вариант метода возникает, когда 
в функции (391) заведомо известно, что а/ = 0. Тогда он преобразуется 
в централизованный метод наименьших квадратов. При этом (395) 
формально также трансформируется в однородное линейное уравнение. 
Оценка единственного коэффициента а существенно упрощается: 


в М м 
у=а.-х <> У'у.=а р 
а=1 а=1 
м м ий о 
ЕЕ (400) 


где знаменатель, естественно, ненулевой (!). Формально 2-ые формулы 
в (399) и (400) совпадают. Искусственным путём такой вариант можно 
получить преобразованием целевой функции вида: 


У) —> Ф(®) = УФ) -а=а-х - У(х)- $(х) = у(х)-У(0) =а-х. 
Из полученных формул (395)—(398) непосредственно видно, что 
выбор масштабов по осям переменной и функции не имеет значения. 





С целью полноты изложения метода при п = 1 осталось установить: 
как проверить статистически, действительно лиу их связаны линейной 
зависимостью? Для этого применим простой корреляционный подход. 
В нём те жеу и х считают равноценными переменными, содержащими 
случайные ошибки, выясняя степень наличия между ними линейной 
корреляции. Но, используя данный подход, в итоге будем по-прежнему 
считать, что х — точная величина, а У содержит случайную ошибку. 

Теперь, если гипотеза о линейной связи между у и х верна, то тогда 
минимизация суммы квадратов отклонений точек (х,, У) от прямой 
линии регрессии, взятых вдоль оси х, должна дать практически те же 
оценки коэффициентов ак) и ас что и полученные выше по оси у, 
т.е. ау и а, Отношение однородных коэффициентов а или а,» 
вычисленных по указанным взаимным вариантам метода наименьших 
квадратов, должно дать некоторый коэффициент К, характеризующий 
отклонение целевой функции от линейной зависимости типа (391). 


$ 4.7. Метод наименьших квадратов Гаусса 207 


Далее имеем процедуру минимизации, но во 2-м варианте метода: 








М 5 Х я 
у. =, (ава) = > (ха -Ж) => (4 -&)/а] = ши; 

= = 
1 ду 
ре о о 
2 = х [ха - (54 -а)/а | (а 40 )/а? =0 


Используя средние арифметические, здесь также из первого уравнения 
системы получаем уравнение типа (395). Поэтапно выражаем оценки 
а) иаз,у, например, через средние арифметические значения: 











(402) 


Те же формулы можно сразу получить через формулы (397), (398), 
применяя метод наименьших квадратов в координатах (у, х), где у 
является уже как бы аргументом. Тогда Иан и аа выражаются 
формулами (397), (398) с взаимным обменом х и у. 

Нетрудно проверить, что отношение коэффициентов а и отношение 
коэффициентов А, в обоих взаимных вариантах метода одно и то же: 


(у-к—9-*). 

: 1 : 1 уд у^ 

бб — ау” и 2 =2\° (403) 
а(х) ах) (х _х )-(5 _у 


Это есть квадрат выборочного коэффициента линейной корреляции К ху 





для точной переменной Х и неточной функции У (в рассматриваемом 
2 

аспекте). Алгебраически К» у может находиться в интервале 0-1, 
К может находиться в рр —1 = +1 (в силу корреляционного 
неравенства). Чем ближе К* ук единице, тем более вероятна линейная 
зависимость У от Хх, и обратно. Обычно корреляция устанавливается 
между случайными скалярными переменными, характеризуя степень 
наличия между ними линейной связи, а регрессия выполняется в форме 
статистического отображения неточной скалярной функции на точную 
переменную исходя из предполагаемой между ними линейной связи. 
(Именно в этом состоит принципиальное различие этих понятий!) 
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Выборочный коэффициент линейной корреляции в данном случае 
выражается тождественными друг другу формулами: 











Формулы (403), (404) лежат в основе корреляционного анализа для 
пары случайных величин, между которыми тестируется линейная связь. 

Все данные формулы симметричны относительно х и У. Весьма 
интересно то, что линейные преобразованияу и х, с точностью до знака, 
никак не влияют на К, и тем более на Е [15, т. |. Объясняется этот 
факт дисперсионно-ковариационной природой величин числителя и 
знаменателя в (404), но именно при линейной регрессии У|х. 

В числителе (404) фигурирует выборочная ковариация Х и у: 


м ее о а 
у{к,3,)= "24, -#) (9. -=Ух-у-х (405) 


В знаменателе (404) фигурируют выборочные дисперсии для хиу: 


— 
24 
‚а 
| 
я 
— 
ь 
И 
йе 
| 
2 


(406) 


В пределе, когда 02(у) — 0, все случайные выборочные характеристики 
стремятся к собственным математическим ожиданиям и, естественно, 


и? (х. ) = А? (х.). Далее имеем: 
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= У (к. -х)-(у.-У)=У(жь»уа), (407) 


В (уно 9). (408) 


Параметр К. Я У ЬУ ГА <. ).5° 2 (У.) при 0?(у) > Оби 
м ВИО ОСтИ типа у =а, +а. х, очевидно, стремится к 1; 
д? (уз иу о У суть плановые дисперсия и ковариация для У(Х). 

Вообще же, при линейной зависимости у = а, +а- х безразлично, 
какую сумму квадратов тут минимизировать — по оси у или по оси х. 
С учётом теоремы Пифагора, можно минимизировать сумму квадратов 
расстояний от точек до прямой линии регрессии. Результат одинаков! 
Отметим, что для любых переменных хиу (точных и неточных) имеет 
место алгебраическое псевдокорреляционное неравенство (405): 


о ух (ух-у*) 
Е 


ИТ“ Р-Р] 


жж 








= 1: 


Далее рассмотрим генезис метода наименьших квадратов Гаусса 
для случая п > 1. Интересно, что инвариантность метода к общим 
линейным, в том числе к масштабным преобразованиям координат и 
в данном случае имеет место, что подчёркивает его универсальность! 
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Линейная (линеаризованная) целевая функция имеет общий вид: 








уу хи =щта как тота сх, 


С векторной формой переменной эта зависимость имеет вид: 


у = У(х) = +х’-а. (410) 
Здесь традиционно а есть пх1-вектор-столбец из коэффициентов а.. 
Для реализации метода при п > 1 применяется линейная регрессия Ух: 


у= У(хь, х», ..., ха) = а, + а -жч+а, ж+...+ а, ж. (411) 
Представим модель регрессии при п > 1 в векторно-скалярной форме: 
у-у® =а+х.а, (412) 


где х — пх1-векторная переменная, а — пх1-векторный коэффициент, 
а, — скалярный коэффициент. Для их вычисления также аналитически 
решается задача минимизации суммы квадратов разностей ( Уз — Уз: 





у=ч (4,2, ) => (х. аа, 9.) = шш; (413) 
а=1 

У (ана, 9.) = 0. 

2 ба = (414) 

1 ду 

о мм а+а, у) =0 


Используя средние арифметические, из (414) получаем систему из 2-х 
усреднённых уравнений с двумя неизвестными а иа;: 


у=х’.а+а,, (415) 





у.х=х.а, +х-х’.а. (416) 


Выразив из первого уравнения а и подставив это значение во второе 
уравнение, получаем уравнение относительно а: 
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В кратчайшей матрично-векторной форме записи имеем: 
5. а=м, (417) 
где 5 = 5', причём элементы матрицы $ и вектора \\ выражаются как 








$ =5; киа |= 
м? М —_ _ М М м 
к 2х. -х) (х.-х)=м хаха = 2.Жо 2х 
а= 9= 9= 9= 
м =№.(у-х,-У -е 
й 1% — _ = м м м. 
= жи (5. -9) =М.»х,.у.->, 19 У, 
9=1 9=1 9=1 9=1 


Далее имеем: 

. —1 

а=$ см, 

2 аи (418) 

а, =у-х.а. 

Для однозначности а и а, необходимо, чтобы выполнялось Че 5 + 0, 

что достигается выбором плана расположения точек Ха в < 1. Причём 

' 

при х > х = У имеем инвариантность а —а,„= У 2), а, = а». 

Формулы (415)-(418) значительно упрощаются для специальных 


центрированных планов расположения точек Ха: 





м  — 
_ : = & 2 = 
Ух. =0=х —> а =у, а=х.х! -у.х. (419) 
а=1 
Ещё важный вариант метода возникает тогда, когда в функции (412) 
заведомо известно, что а, = 0. Он преобразуется в централизованный 
метод наименьших квадратов. Тогда уравнение (415) принимает вид: 


— м м 
— — =. . — = ы . . 
у=х а>Уу, < а. 
а=1 а=1 
Это уравнение имеет однозначное решение только при п < 2. Вообще 


прип > 1 искомое однозначное решение получается из (416) при а/ = 0, 
т. е. из системы линейных нормальных уравнений Гаусса: 


ы 
М М М М 
Уж ра=У ух, >а-=У хх,’ | У ух. | (420) 
а=1 а=1 9=1 9—1 


Причём, решения (419) и (420) отличаются только коэффициентом ах. 
Искусственным путём этот вариант можно получить преобразованием: 


У(х) —> у(х) = У® -а=х’ ‘а - у(х) > у(х) = у(х)-У(0) =х’-а. 
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$ 5.1. Общие положения 


Численная оптимизация целевой функции У(х) — это определённый 
пошаговый вычислительный процесс, сводящий решение задачи на 
её экстремум к некоторому алгоритму, продуцирующему в итоге либо 
последовательность значений аргумента Х\ | , Хо}, ..., Х(к ...› неуклонно 
приближающуюся с ростом К к точке экстремума 5° с заданной степенью 
точности б по |Ах|, либо последовательность значений целевой функции 
УХ», Ухо), 2 УС, ..., неуклонно приближающуюся с ростом К 
к экстремуму У($°) с заданной степенью точности 8. В первом случае 
говорят о сходимости процедуры по аргументу, во втором случае говорят 
о сходимости процедуры по функции. Очевидно, что для эволюционной 
целевой функции оба вида сходимости тождественны. Тогда говорят 
о сходимости процесса оптимизации вообще [4, 8, 21]. В простейших 





случаях при некотором К возможно совпадение с искомым результатом, 
т.е. хи =5°и У(Хао) = У($5°) с остановкой процесса. (Это теоретически 
реализуется при совпадении порядков функции и процедуры.) 
Наиболее распространённые и действенные алгоритмы такого рода 
суть итерации. В качестве примера итерации можно указать предельный 
метод вычисления экстремальных корней алгебраического уравнения, 
в том числе векового, с вещественным положительным спектром ($ 4.2). 
В наиболее общем виде итерация понимается как последовательное 
применение одной и той же вычислительной процедуры к числу или 
некоему набору чисел в их некотором детерминированном ряду, начиная 
с исходного числа или набора чисел, и далее к последующим числам, 
производимым в результате выполнения процедуры. Для обеспечения 
однозначной сходимости итерационных процедур оптимизации У(х) 
к точке еб экстремума $° необходимо такое свойство целевой функции, 
как строгая унимодальность (см. $ 1.1), хотя бы на рассматриваемой 
области значений, — т. е. наличие только одного и причём строгого 
экстремума, а также отсутствие стационарных седловин (перегибов). 
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Ранее в $5 1.1 и 1.9 рассматриваемые в этой монографии целевые 
скалярные функции были наделены как бы априори существенным 
в данном аспекте свойством эволюционности. Строго математически 
для У(х) и у(х) оно обеспечивается её непрерывностью и непрерывной 
дифференцируемостью. 

Но в ряде численных процедур, например, для поиска экстремума 
непрерывность скалярной функции на компакте (отрезке на оси (@ или 
закрытой области в <#1) задаётся как её непрерывность по Липшицу. 
Функция У(х) (или У(Х)) определяется как непрерывная по Липшицу 
на некоей области ( < 21 с коэффициентом [. > 0, если выполняется 
следующее требование (при п > 1): 


У(х2))-У(ха)) 
[Уч -Убо) < Г: Ух), Х(2)  Ф. 


[Коха (421) 


Здесь ( — область определения целевой функции У(х); в частности, 
Ф=сЛ (см. $5 1.1 и 1.9). Ясно, что данное понятие требует метризации 
координатного пространства <#1 обычно в 1. Геометрический смысл 
числа Г. заключается в том, что он равен максимуму модуля градиента, 
или максимуму тангенса угла в @П*! наклона касательных к У(Х). 
Если скалярные переменные х; суть какие-либо физические величины 
с размерностью, или масштабом по осям т., то изменяя эти масштабы, 
коэффициенту Г, можно придать любое конечное значение. Поэтому тут 
более важен сам факт конечности Г., характеризующий равномерную 
непрерывность целевой функции У(х). Однако понятие непрерывности 
по Липшицу с коэффициентом Г. > 0 даёт возможность делать самые 
общие оценки скорости сходимости процедуры. 

Основным параметром для любого метода численной оптимизации 
является его порядок. Он определяется тем, что именно применяется в 
расчётах очередного приближения точки экстремума целевой функции: 
значения функции, значения её 1-производной (градиента), значения 
её 2-й производной (матрицы Гессе). Теоретически оптимален порядок 
процедуры, равный уровню экстремума функции (гл. 1). 

В следующих параграфах рассматриваются основные классические 
итерационные методы оптимизации целевых функций — в одномерном 
и многомерном вариантах. Для большей конкретности итерационные 
методы одномерной оптимизации наглядно рассматриваются в варианте 
поиска максимума. Соответственно для функции [-У(х)] те же самые 
процедуры обеспечивают поиск минимума У(Х). 
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$ 5.2. Итерационная одномерная оптимизация 


Одномерная оптимизация имеет как самостоятельное значение, 
так и входит в качестве вспомогательного процесса в директивные 
процедуры для многомерной оптимизации. Численная оптимизация 
целевой функции применяется тогда, когда аналитическое решение 
её уравнения стационарности весьма сложно, либо вовсе невозможно. 
Кроме того, на практике часто аналитический вид целевой функции У(Хх) 
вообще неизвестен; её значения определяются экспериментально при 
точно задаваемых значениях аргумента. Причём есть достаточно веские 
основания полагать наличие экстремальной зависимости У(х). Вообще 
же, если нахождение значений функции при конкретных значениях 
аргумента требует довольно высоких затрат, то имеется естественное 
стремление свести к минимуму количество точек х., где вычисляются 
или экспериментально находятся значения У(х.). 

В методах 0-го порядка непосредственно применяюттолько значения 
функции У(х,). В методах 1-го порядка применяют как значения функции 
У(х)), так и её 1-й производной у'(х,), либо её некую опосредованную 
через значения функции разностную оценку. В методах 2-го порядка 
применяют как значения функции У(х.), так и её 1-й производной У"(х,), 
2-й производной у"(х,), либо их опосредованные через значения функции 
разностные оценки. 

Вначале (по методам 0-го порядка) находят двухточечный интервал 
скалярного аргумента [Х( 1}, Х(о)], в котором заведомо находится точка 
экстремума 5° предположительно строго унимодальной и непрерывной 
целевой функции У(Х). В самом общем виде эта процедура сводится 
к поиску экстремума функции при дискретном изменении аргумента 
тем или иным способом. На первом этапе, разумеется, нужно выбрать 
исходную точку а и далее одно из двух направлений от а, в котором 
У(х) изменяется должным образом. После этого выбирается конкретная 
процедура поиска в данном направлении — либо увеличивающимися, 
либо уменьшающимися последовательными шагами. 

По первому варианту поиска довольно популярен способ с удвоением 
размера шагов. Делают шаги Дх, 2х, 4Дх, ... ота пока не пройдут 
искомый экстремум целевой функции от дискретной переменной х 
в трёхточечном интервале [Хау Х(су Хо), Где Х(1) = Жк Хо = Хью 
Хо) = Хи+у: Из дальнейшего будет ясно, что здесь вместо удвоения 


шага вполне логично применять повышающий коэффициент золотого 
сечения и = (\5+1)/2 = 1,618. 
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По второму варианту поиска довольно популярен способ, связанный 
с уполовиниванием размера шагов. Выбирают довольно болыпой шаг 
аргумента от точки а, делят его пополам, образуя некий трёхточечный 
интервал аргумента [а, ху, 6]. Если на данном трёхточечном интервале 
функция У(с) необходимым образом экстремальная, то его принимают 
за искомый. Если же у(с) на данном интервале не экстремальная, то 
образуют в ту же сторону новый интервал от точки Ъ. Его опять-таки 
можно оставить прежним или поделить в зависимости от характера 
дискретного изменения функции. Из дальнейшего будет ясно, что здесь 
вместо уполовинивания шага вполне логично применять ионижающий 
коэффициент золотого сечения 7. = (№5 — 1)/2 = 0,618. Причём и, = 1. 


По обоим указанным способам на каком-то шаге процедуры поиска 
находят трёхточечный интервал [Хау Хе} Хо), или по крайним точкам 
двухточечный интервал Ь\ 1 Хор содержащий точку экстремума У(Х). 

Здесь, разумеется, должна работать больше интуиция вычислителя 
или экспериментатора. Но в итоге, более или менее удачно, будет найден 
искомый интервал аргумента для заведомо локализованного поиска на 
нём экстремума целевой функции. Обозначим его для дальнейшего как 
[а-, Ь. 1. Это, по определению, есть исходный экстримный интервал для 
аргумента. Он имеет особое значение в методах 0-го и 1-го порядка. 

В численных процедурах оптимизации по умолчанию принимается 
то, что все шаговые значения аргумента — точные числа, а получаемые 
для них значения целевой функции находятся с задаваемой абсолютной 
погрешностью 8. (Она, кстати, определяет допускаемое округление этих 
значений — с учётом правила Гаусса.) Поэтому сравнение значений 
У(а,) и У(Б) осуществляют также с заданной погрешностью 5. Причём 
условие 


[ У) - (а) | <= (422) 


эквивалентно равенству обоих значений целевой функции У(Х). 

Отсюда оптимизация У(Х) на экстримном интервале [а/, 6, ] должна 
строиться алгоритмически так, чтобы в результате каждой новой 
итерации последующий интервал [а,, 6] неуклонно сужался и был 
бы также экстримным, т. е. при этом он продолжал бы включать $5° 
как свою внутреннюю точку. Критерий остановки общего процесса 
оптимизации есть условие типа (422) — при достаточно близких 
значениях аргумента. Данный факт свидетельствует именно о строгом 
экстремуме функции в точке 5°. 
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$ 5.3. Методы дихотомии и золотого сечения 0-го порядка 


В данном параграфе последовательно рассматриваются два наиболее 
распространённых итерационных метода 0-го порядка для решения 


задачи одномерной оптимизации на экстримном интервале [а\, Ь 1: 
У(х) > ехи, х с [а/, В]. (423) 


Причём у(х) здесь строго унимодальная целевая функция, непрерывная 
по Липшицу, согласно (421). 

Лемма 3 (06 иерархии на экстримном интеревале). Пусть У(х) — строго 
унимодальная функция, $* — её максимум на интервале [а,, 6]. Тогда 
для любых точек а,,, В, е [а,, 6 ] справедливы утверждения: 

1) если У(а,) < У), то $" е [ау, 61]; 

2) если У(а,) > У(Б;), то $" е [а/, 6]; 

= [ак,Ь! ] 

= [а1,6к |" 

Аналогичная по смыслу лемма действует на экстримном интервале, 





3) если у(а,) = У(Ь;), то $' = [а,, В] 


содержащем точку минимума $. Но вней нужно только поменять знаки 
неравенств, что эквивалентно замене у(х) на [-У(х)]. Смысл леммы 
состоит в том, что, сравнивая значения У(хХ) в двух внутренних точках 
какого-либо экстримного интервала, можно далее перейти к новому 
экстримному интервалу, но уже с меньшей длиной и содержащемуся 
внутри предыдущего интервала. Что ещё важно, новый интервал — 
либо [а}, Ь |, либо [ау, 1 — будет содержать три точки с известными 
значениями в них целевой функции У(х). Поэтому для последующего 
повторения подобной процедуры в рамках последовательных итераций 
потребуется нахождение значения функции всего лишь в одной точке 
нового интервала! 

На этой главной исходной идее базируются излагаемые ниже два 
классических итерационных метода одномерной оптимизации строго 
унимодальной целевой функции на некотором исходном экстримном 
интервале [а\, Ь, ] — рис. 10. Это [например, 8, 19] метод дихотомии 
и метод золотого сечения. (Как ранее указывалось, для большей 
конкретности подобные методы рассматриваются в варианте поиска 
максимума целевой функции.) 
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Рис. 10. Схемы деления экстримных интервалов в итерационных 
методах 0-го порядка: 


(1) — метод дихотомии, 


ИЕ 


(2) — метод золотого сечения ( Л, = — = 0,618). 


Метод дихотомии 


Название данного метода объясняется тем, что в нём каждая новая 
точка в экстримном интервале получается путём деления специально 
выбираемого отрезка пополам (см. рис. 10). Ниже излагается алгоритм, 
реализующий метод дихотомии, с учётом сравнения значений целевой 
функции в точках экстримного интервала в начале каждого шага. 
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Алгоритм 1. Исходные данные: а. ,6.,с,=1/2. (а, +Ъ); (а), У(Ь/), У(с,). 
Полагаем К = | и переходим кп. 1. 

1. Если У(а,) >У(Б), то [,= 1/2 - (а, + с), находим у(1,) и переходим ки. 2. 
Если У(а,) <У(Б,),то = 1/2. (‚+ су), находим У(4;,) и переходим к п. 3. 
2. Если У([) > У(с,), то полагаем а, = а, В, = С, С, = 4. 
Увеличиваем номер шага на | и переходим к п. 1. Если У((,) < У(су), то 
9. =1/2 - (с; + 4,), находим У(4,). Если У(4,) < У(с,), то полагаем 
а =, 6, =, с, =с,. Увеличиваем номер шага на | и переходим 
к п. 1. Если У(4,) > У(с,), то полагаем а,./ = с, В, =, с, = 9... 
Увеличиваем номер шага на 1 и переходим ки. 1. 

3. Если У(4;) > У(с,), то полагаем а\.| = с, 6, = В, с... = 4. 
Увеличиваем номер шага на 1 и переходим к п. 1. Если У(4) < у(с,), то 


1. = 1/2. (ах + с»), находим У(1,). Если У(1.) < У(с,), то полагаем а, | = 4, 





Ь,. = 4, ск. 1= сх. Если У(1)) > У(с,), то полагаем а’, |= ау, 6, 1= су, 
с. = А. Увеличиваем номер шага на | и переходим кн. 1. 
Процедура этого алгоритма обрывается на каком-то его шаге при 


выполнении требования оценочного неравенства (422). 
Согласно лемме 3, после К-го шага имеем: 
® 
5°Е [а 1; бы] < [а, 6] <... < [а 6]. 


В результате деления экстримного интервала на каждом шаге пополам 


после К-го шага имеем: 
Вени — аки = (6, -а,)/2%. (424) 


Кроме того, из данного алгоритма видно, что на каждом шаге поиска 
равновероятно делается либо одно (левое для / ‚ или правое для 4), 
либо два (левое и правое для / хи 4) вычисления целевой функции, 
т. е. в среднем по 1,5 раза. Для К-го шага количество вычислений 
(экспериментов) оценивается здесь как М = 1,5К. Тогда, с учётом (424), 
погрешность изложенного метода дихотомии с ростом М оценивается 


как 


А, = (6, -а)/Ж= (6, - а )/22М3 = 0,63 . (6, -а)). (425) 
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Метод золотого сечения 


Название данного метода объясняется тем, что деление экстримных 
интервалов выполняется по правилу золотого сечения в отношениях 
Л: а- Л)и(1- Л): А, дей = (45 -1)/2 = 0,618 — положительное 
решение уравнения 1/х =х / (1-х), см. рис. 10. Термин золотое сечение 
для применения к пропорциям в архитектуре ввёл Леонардо да Винчи. 
Теоретически метод при достаточно большом К (количестве шагов) 
требует минимум вычислений значений у(Х) при заданной погрешности. 
Однако при конечном числе К теоретически более оптимален только 
метод чисел Фибоначчи. (Но при К -› © он попросту формально 
тождествен методу золотого сечения — см. например [8, 21].) 


Ниже излагается алгоритм метода золотого сечения с левыми ([,) и 
правыми (4) золотыми точками. 





Алгоритм 2. Исходные данные: а,, 6, д) = ВБ, -а,, [1 =Ъ, - ^.Д,, 
9, =а/+А:А,; У(а,), У(Ь\), УС), У(а, ). Полагаем К = 1 и переходим к п. 1. 
1. Если У(1,) > У(4,), то А,,| = 9, - а, а, = а, 6.1 = Ч, Ди =Д, 
9,1 =а, +. А, 1. Увеличиваем номер шага на | и переходим к п. 1. Если 
УС») < У(Чк), то Ау, = В, — 1 акт = д Быт = Бы Дт = Бк- Ак, 
4, | = 4х. Увеличиваем номер шага на 1 и переходим ки. 1. 





Процедура этого алгоритма обрывается на каком-то его шаге при 
выполнении требования оценочного неравенства (422). 


Согласно лемме 3, после К-го шага имеем: 
$°Е [а +1, В+] С [а, с... < [а1, 61]. 
В результате деления экстримного интервала после К-го шага имеем: 
= К 
Вт — аки = (6, -а1) № (426) 


Из сравнения (424) и (426) видно, что А.> 1/2 и, казалось бы, скорость 
движения кэкстремумутутниже. Но изалгоритма видно, что для каждого 
шага делается только одно вычисление, т. е. для К-го шага количество 
вычислений (экспериментов) оценивается как М = К. С учётом (426), 
погрешность метода золотого сечения с ростом М оценивается как 


Ак = (6, -а,) АХ = 0,618№. (6, -а)). (427) 
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Причём сравнение (425) и (427) показывает, что это вообще более 
эффективная процедура в сравнении с методом дихотомии, хотя и более 
сложная. 

Из алгоритма метода также видно, что на каждом шаге соотношение 


предшествующего большего интервала А и последующего меньшего 
интервала Ау всегда одно и то же: 


ТО 1-А _ 2-1 ЕК - Ес -А, 
А 11 2А- 2-3 ^^ Ен А-В 














(428) 





Откуда следует, что 


а = Ик .,—1 = 0. (По формуле Бине: В.=[ (-*)* 1/5.) 
К 


Поскольку в данном методе 2 +. 1=0, то РРР, 





Отсюда Е; — числа Фибоначчи. Они по известной легенде были открыты 
этим знаменитым математиком в результате его научного наблюдения 
за процессом увеличения популяции от пары кроликов в 1202 г. (!) 
Согласно соотношениям типа (428), числа Фибоначчи с увеличением 
числа К стремятся к членам геометрической прогрессии с основанием 


1. =1+лЕЦЯ 1,618: 


К=2щ -> Ех / Ека > ТА, 
К=2ш+1 -> Ек/ Ека < 1/А, (429) 
Ко -> Ех / Ека =1/А.. 
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Название метода объясняется тем, что каждая следующая точка 
в экстримном интервале — рис. 11 получается в результате пересечения 
пары касательных (левой и правой) с противоположным по знаку 
наклоном к оси абсцисс. (Позднее в $ 5.5 с целью численного решения 
скалярного уравнения стационарности будет рассмотрен классический 
метод касательных Ньютона и его разностный аналог — метод хорд.) 

Реализация методов 1-го порядка на том же самом экстримном 
интервале, однако, требует для целевой функции У(Хх), помимо строгой 
унимодальности и равномерной непрерывности, ещё и того, чтобы знак 
её 2-й производной строго отвечал характеру искомого экстремума. 
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Хх) 5* Х(3) Хо) Ь, 





Рис. 11. Схема метода парных касательных. 
А именно, при поиске максимума необходимое требование есть 
у"(х) < 0:х в [а,, В], 
при поиске минимума необходимое требование есть 
У"(х) > 0:х е [а,, Ь 1. 


Они более строгие, нежели те, что в части знака У”(х) задают 
классические правила (2) и (3) — гл. 1. В численных процедурах их 
эквивалентом являются понятия выпуклости и вогнутости функции. 
Функция У(х Е [а, 5] < (2) называется выпуклой на числовом отрезке 


[а, 6] < (0, если при 0 < а. < 1 выполняется неравенство: 


У[-х‹;) + (1- 4)-х‹] < (ху) + (1- а)-У(х‹.)): Ухо хе [а, 6]. (430) 
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Аналогичным образом, но с изменением знака данного неравенства 
на противоположный определяется вогнутость функции У(Х). 

Методы 1-го порядка заслуживают особого внимания тогда, когда 
1-я производная целевой функции вычисляется достаточно просто. 
В частности, в рассматриваемом методе парных касательных (рис. 11) 
дополнительно к значениям функции в левой и правой точках в них 


же вычисляют значения 1-й производной у'(х). После этого получают 
линейные функции Ф(Х) для касательных — левой и правой. В варианте 
поиска максимума имеем: 


[ФС = У(а,) + У’(ах) а а,,), (431) 
[9 — У(Б) — У’) ь (6 —а) = У(Ь) ы У) -(- Ь,), (432) 


где у'(а,)>0,у’(Б,) <0. Точка пересечения указанной пары касательных, 
т. е. точечное решение уравнения [ф/(х)], = [ФС] даёт очередное 
(К+1)-е приближение к точке максимума 5*: 


[у“ак)-ак — У(ак)]--[У'6к)-6к — У(®к)] 
У(ак)-у\6к) | (433) 





ХК-1 = 


Далее вычисляют У(х;. |) и сравнивают со значениями У(а,.) и У(Б,,). 

Если разность с любым из них укладывается в неравенство (422), 
то процесс поиска максимума целевой функции прекращают в точке 
ХК = $+ с заданной точностью & (по функции). В $* с соответствующей 
& точностью выполняется лемма Ферма о необходимом условии 
экстремума У’(х‚.1) = 0. 

В противном случае вычисляют У’(х‚.1) и выбирают следующую 
пару точек а’, и В |, т.е. левую и правую. Если У’(ху, |) > 0, то 
приравнивают х,.| =а, 1, В, =В,, |; если У'(х,+ |) < 0, то приравнивают 
а, = а, 1, Хк+ | = Бь,1- Далее повторяют ту же процедуру при К + 1. 
В конце процедуры числитель и знаменатель в (433) стремятся к нулю, 
как и обе производные у’. Поэтому особую важность имеет точность 
выполняемых вычислений. 

В данном методе весьма существенно то, что на каждом шаге левая 
и правая точки частного интервала выбираются так, чтобы касательные 
в них имели соответственно положительный и отрицательный наклоны. 
Такая возможность обусловлена здесь именно выпуклостью целевой 
функции на всём интервале. Отсюда всегда х/+ | < [ау, В]. Но поскольку 
далее или {а | =Х, +1, 61 =В,,}, или {а =а,, б.1=хХ,+ 1}, то и всегда 


Хк+1 © [ак бк], [ак бк] < [ак 6. 
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Следовательно, имеем цепь вложенных экстримных интервалов, 
сужающихся после каждого очередного шага алгоритма: 


[а/, 6] > [а., 6,] 5... 5 [а 6] 5 [а +1, 6+1]. 





Согласно лемме 3, после К-го шага 5" © [ак +1» Ь. +1: Осталось оценить, 
насколько сужаются интервалы после каждого шага. Из (433) имеем 
в 2-х вариантах выбора нового интервала степень сужения: 


„.. л_ УФК) - (ак) 
ВЕ -хка _ У к -ак _ У(ак)+[-у'ск)] 
к —ак У(ак)+[-У'6к)| — у\ак)+[-у'®к)|” 





(434) 





У(Бк)- У(ак) ть 
хк+1-ак _ как +ГУФк _ Ук) + Ук] 
к ак У(ак)+[-У'6к)] у(ак)+[-у'к)] 








Нетрудно проверить, что для кривой У(х) строго 2-го порядка, т. е. 
для параболы степени 2, обе величины равны точно 1/2. Поэтому для 
целевой функции, близкой именно ко 2-му порядку на экстримном 
интервале, метод касательных даёт сходимость со скоростью не менее 
скорости сходимости геометрической прогрессии со знаменателем 1/2, 
т. е. аналогично методу дихотомии ($ 5.3). Но, если кривая У(Х) более 
сильно выпуклая на [а/, 6] (например, уровень экстремума менее 2-х), 
то эта скорость возрастает. 
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Для оптимизации таких целевых функций, которые в окрестности 
экстремума допускают параболическую аппроксимацию, целесообразно 
использовать метод 2-го порядка. Для сходимости процедуры нужно, 
чтобы функция в этой окрестности была равномерно непрерывной и 
чтобы начальное приближение аргумента с/ находилось именно в зоне 
выпуклости (вогнутости) её производной. Пусть функция У(Х) в некоей 
окрестности точки экстремума 5°, по крайней мере, трижды непрерывно 
дифференцируемая. При этом, ограничиваясь частью 2-го порядка еб 
разложения по формуле Тейлора в точке с, имеем аппроксимацию: 


У(х) = а(®) = у(с) +у'(©) - («-© + 1/2 .у’(©) . (х- 0). (435) 
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Функция а(Х) отличается от целевой функции У(Х) в окрестности 
точки с только на остаточный член ряда Тейлора, например, в форме 


Лагранжа (11) порядка не менее 3-х. Парабола (435) в точке с имеет 
касательную, выражаемую производной: 


9'(х) =у'(©) +у"(® - «-9). (436) 


Согласно методу Ньютона 2-го порядка, точка экстремума параболы 
(435) при подстановке внеё с=с, аименно точках = с. |, есть очередное 
приближение к точке экстремума 5° целевой функции У(х). Формально 
по лемме Ферма с„_ | находится из уравнения стационарности а(х) = 0. 
Геометрически она трактуется по методу Ньютона (рис. 12), как точка 
пересечения касательной (436) с осью абсцисс х [63]: 


ск = Ск + Ус) /ГУ"(с)], У"(су < 0. (437) 





Рис. 12. Схемы пары эквивалентных численных процедур — метода 
2-го порядка и метода касательных Ньютона (для решения уравнения 
стационарности) при поиске максимума 2-го уровня в двух основанных 
вариантах: 


(р у’(х) < 0, у""(х)>0; (2) у’(®) <0, у"'(х) < 0. 
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Отсюда следует двоякая интерпретация классического метода 
Ньютона. Наиболее общо он трактуется как метод 1-го порядка и 
тогда именуется как метод касательных Ньютона. В этой форме 
исходно он был предназначен для решения (скалярного) уравнения 
типа Кх) = 0 [63]. При этом уравнение стационарности У’(х) = 0 
есть только его частный случай. Но в численной оптимизации этот 
же метод, по отношению к исходной целевой функции У(х), является 
методом оптимизации Ньютона 2-го порядка и, вместе с тем, методом 
касательных при решении уравнения её стационарности! (Отсюда 
имеются опять-таки две возможности его разностной модификации — 
полная и частичная.) 

По сути, итерация (437) есть некоторое гладкое итерационное 
отображение 


Х(к+ = Фо). (438) 


Для сходимости в предельную точку, согласно теореме Банаха, оно 
должно быть именно сужающим [20]. В этом случае всегда имеется 
единственная точка 5°, к которой сходится последовательность точек 


Х( 1}; Хо» >. Здесь это точка экстремума функции. Аналитически она 
является решением уравнения 
х = (Х). (439) 


В методе Ньютона степень сжатия отображения (438) на каждом 
шаге итерации оценивается сверху через коэффициент о в требовании 
непрерывности по Липшицу к функции Ф(Х). Понятно, что исходное 
приближение Х(1) = (1) должно находиться настолько близко к 5*, чтобы 
выполнялось требование сужения отображения: тр < |. Однако, для 
того чтобы скорость сходимости метода Ньютона превышала таковую 
для методов 0-го и 1-го порядка (см. 88 5.2, 5.3), целесообразны 
значения Г. < 1/2. На каждом шаге итерации сужение интервала в 
методе Ньютона оценивается сверху как 

т 
<— | -с. 


5°— ск 
1-1 (440) 








При этом следует иметь в виду, что и коэффициент Г на каждом 
шаге также уменьшается и часто квадратично. В силу этого факта, 
скорость сходимости метода Ньютона при определённых требованиях 
к значениям У"(с/) и Уу"'(х) в окрестности экстремума имеет порядок 2, 
ане 1 [20, 21]. 
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Ввиду того, что метод Ньютона базируется на вычислении 1-й и 2-Й 
производной в точках с;, он допускает две разностные модификации. 

По методу хорд касательная (436) в точке с, аппроксимируется 
хордой с небольшим шагом Д} по оси х. При приближении к экстремуму 
шаг А, должен сужаться, например, пропорционально модулю [с,-с, ||. 
По сути, этот метод применяется для численного решения уравнения 
у’(х) = 0, используя разностную аппроксимацию только для У"(с,,), но 
через У'(х). Тогда имеем иполуразностную форму для итерации (437): 








Скы -ак+ уе | (441) 
Ах 
Ду" (ск +Ак)-У' 
где г (к) => © С У У"(ск). 


По методу парабол в (437) используют разностные аппроксимации 
и для У'(с,), и для у"(с,,) через У(х) с теми же шагами по оси х. Имеем: 








Ск+1 = ск + = (ск) / С (ск) |, (442) 
где 

а У(ск+ Ак) - У(ск_Ак) | А?у = У(ск+Ак)+У (ск —Ак)-2`У(к) 
Ах 2. Ак дх2 № 


В итоге (442) приводится к форме: 


Ак __ У(ск+Ак)- Ук Ак) | 
2 У(ск+Ак)+У(ск -Ак)-2-У(ск) (443) 





Ск+1 = СК 





Ту же самую формулу получаем, если У(Х) в точке с аппроксимируется 
параболой, используя интерполяционный многочлен Лагранжа степени 2: 
х-(<-Д) х-(с+4) м 
с-(с-^) с-(+4А) 
хе. х- (с+4) ба Хх. х-(с-4) , 

(с Л)-с (с-^)-(с-^) (с+^)-с С+^)-(с-4) 





9(х) = у(с). 








(444) 





+у(с-—л) 


Разностные аналоги метода Ньютона эффективно применять тогда, 
когда затруднено или даже невозможно находить производные целевой 
функции. Иногда метод Ньютона для обеспечения быстрой сходимости 
применяют на второй стадии оптимизации после методов 0-го или 1-го 
порядка. 


$ 5.6. Итерационная многомерная оптимизация 22.7 
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В координатном пространстве, задаваемом некими независимыми 
переменными х,, весьма существенными являются такие их свойства, 
как однородность или неоднородность в качестве физических величин. 
Обычно для скалярных функций типа у = (Ху, Х», ..., Х,) = У(Х) все 
её частные переменные х, молчаливо подразумеваются однородными 
величинами ($ 1.9). Однако на практике эти частные переменные х; 
имеют конкретные физические размерности — одинаковые или нет. 
Именно этот факт отвечает тут их однородности или неоднородности. 
Поэтому в процедурах многомерной оптимизации целевых функций 
такие дополнительные свойства переменных х, обязательно нужно 
принимать в расчёт. Например, совершенно естественным является 
отображение физических пространственных координат Хх |, х› их; в 
евклидовом пространстве <? ипространственно-временных координат 
Хх, Х., Х; и СЁ в псевдоевклидовом пространстве Р3*!. Однако такие 
физически неоднородные переменные х,, как давление, температура, 
концентрация, фигурирующие в целевых функциях, могут корректно 
отображаться лишь в неких физических аффинных пространствах © 1 
с допустимыми в них масштабными преобразованиями координат. 

С учётом этого, важно изначально в целевых функциях применять 
именно такие естественные коэффициенты 1; к переменным х; или/и 
именно такие сочетания переменных, чтобы в итоге их размерность 
или взаимно уничтожалась, или была хотя бы однородной. Переменные 
в чисто математических функциях обладают свойством безразмерности. 
Однако в прикладных разделах, а также в описательных исследованиях 
зачастую исходно фигурируют переменные разнообразной размерности. 
Поэтому, например, в физико-химических теориях подобия закономерно 
вводятся новые критериальные переменные. Причём они формируются 
из исходных переменных так, чтобы все их размерности уничтожались 
вследствие компенсации. Далее они применяются в целевых функциях. 

Как один из самых ярких примеров в истории фундаментальных наук 
можно тут привести ввод коэффициента «с» к стреле времени $, впервые 
осуществлённый Пуанкаре в 1904 — 1905 гг. для придания физической 
однородности 4-м переменным, задающим базовое пространство-время 
в релятивистской теории движения материи. На основе этого Пуанкаре 
совершенно естественным геометрическим путём пришёл к 2-м важным 
следствиям, что коэффициент «с» есть скорость света в пустоте и что эта 
скорость максимальная для всех материальных явлений! 
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Весьма важно здесь то, что при линейных (в том числе масштабных) 
преобразованиях координат такие существенные тут свойства целевой 
функции (если они исходно имеются), как эволюционность или хотя 
бы равномерная непрерывность как 1-го, так и 2-го порядка, а также 
знакоопределённость квадратичной формы не нарушаются! Отсюда 
в численном анализе для У(Хх) инвариантами линейных преобразований 
являются их важные свойства— аналоги: непрерывность по Липшицу и 
выпуклость (вогнутость). Но связанные с этими свойствами конкретные 
числовые коэффициенты, характеризующие максимальный наклон или 
минимальную кривизну поверхности У(х), могут изменяться в любых 
конечных пределах, сохраняя лишь свои знаки. Конкретные числовые 
значения этих коэффициентов, однако, влияют на скорость сходимости. 

Движениек экстремуму у(х) в п-мерном координатном пространстве 
может осуществляться в форме итераций (5 5.1). Причём общий процесс 
содержит либо только однотипные — многомерные главные итерации, 
либо как те же главные итерации, так и одномерные побочные итерации 
по директивному вектору (которые уже рассматривались в $5 5.2). 
Второй из этих вариантов по отношению к первому, по сути, есть его 
директивная модификация. Возможные директивные процедуры далее, 
в общем, те же самые, что используют для одномерной оптимизации, 
т. е. либо пошаговые, либо поинтервальные. 
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Простейшие процедуры для многомерной оптимизации целевой 
функции У(х) основаны на циклическом покоординатном изменении 
аргумента х обычно в естественном порядке координат: х/,Х., ... ,Х»— 
начиная с некоторого его начального значения х = с. Применяются две 
основные разновидности процедуры покоординатной оптимизации — 
с постоянным и с переменным (по ортам х;) шагом в пределах данного 
К-го цикла изменения п координат. Рассмотрим эти процедуры для 
определённости на примере поиска максимума целевой функции У(Х). 
(При поиске минимума попросту знак У(х) в нижеуказанных процедурах 
изменяют на противоположный.) 

Простой циклический процесс с постоянным К-м шагом в пределах 
К-го цикла сопровождается поочерёдным альтернативным изменением 
частных координат х; с шагами + @,.е,, где е; — единичные орты. 
Конкретно, при очередной (К +1-+1)-й итерации К-го цикла имеем 
далее нижеуказанный алгоритм. 
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а. Если У(с; +4, -е; 1) > У(е,,;), то принимают 1-ю альтернативу: 
Сени = Ск + в -е;+1 и переходят к (К +1+ 2)-й итерации. 
Ь. Если У(Су +; + 0, - е.41) < У(©к+;), то переходят к 2-й альтернативе: 








ыы — Сын — б * @н1. 


с. Если У(с;— 4, -е;, 1) > У(©,,;), то принимают 2-ю альтернативу: 














#1 — Ск — 0%; } е- 
4. Если (са -е,, 1) < У(©, +), то полагают © „;.1 = Ск; и переходят 


1 и переходят к (К + 1+ 2)-й итерации. 





к (К+1+2)-й итерации К-го цикла. 


Если неравенства (Ъ) и (4) здесь имеют место для всех 1 <1< п, то 
уменьшают, например, вдвое величину 0, и соответственно (К + 1)-го 
шага. В противном случае 0%, и соответственно шаг по ортам оставляют 
прежним. Далее переходят к (К + 1)-му циклу потой же схеме. Процедура 
в целом заканчивается тогда, когда выполняется требование: 


У(с5к) — У(с к) 5 &, (445) 
где &— заданная погрешность для целевой функции ($ 5.2). 


Составной циклический процесс с переменным 1-м шагом в К-ом 
цикле включает в себя поэтапную одномерную оптимизацию целевой 
функции в направлении возможных изменений каждой из частных 


координат Хх; 
Ка; +1) = У(СкЕ + 0+1 +1) = тах: 9; +1 © (—00, +00). (446) 


Одномерная оптимизация может осуществляться, например, любым 
из способов, описанных в $$ 5.3 — 5.5. В принципе, иногда возможны 
и даже более целесообразны совершенно иные подходы, например, 
аналитический, интерполяционный, приближение степенным рядом 
Тейлора. 

Интересно также отметить, что аналитическое применение данной 
процедуры к задаче минимизации функции невязки ||6(х)|| линейного 
уравнения (333) при 461 А + 0 даёт классический метод Зейделя [8, 40] 
для численного решения невырожденной системы линейных уравнений. 
Поэтому описанная процедура покоординатного поиска экстремума 
целевой функции так же, как и менее общая процедура численного 
решения системы линейных алгебраических уравнений, в литературе 
известны как покоординатный метод Зейделя. 
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5 5.8. Градиентный метод Коши 1-го порядка 


Градиентный метод в своём базовом варианте был предложен Коши 
в 1847г. [56]. Как и покоординатный метод Зейделя (см. выше), он 
исходно был предназначен для решения совместной системы уравнений 
на основе минимизации модуля её невязки ||0(х)||. Как известно, Коши 
первым начал рассматривать линейную часть приращения функции 
Чу как главную часть её общего приращения Лу, обосновав таким 
путём всё дифференциальное исчисление. Для функции У(Х) её 1-й 
дифференциал представляется в виде скалярного произведения в <" 
в тригонометрической форме: 


4 4 
Чу = ый х = ы . |9х| -с0$ф, (447) 
дх Чх 


1хп 0х! 


где ф— угол в между градиентом и вектором приращения аргумента. 
Отсюда следует, что при |4Х| = соп${ имеем 3 характерных варианта: 


ду = тах (4у) <> (ф=0), 





Чу = шш (9у) <> (ф = =л), (448) 
4у=0 <> (ф= +л/2). 


Поэтому при заданном шаге аргумента |Чх| максимальное возрастание 
функции У(х) именно в линейной части Ау происходит по направлению 
градиента $(х) = Ду/4х, а максимальное её убывание происходит 
в направлении антиградиента — 2(х) = Чу/Ах. Промежуточный вариант 





при ф= + 2/2 отвечает направлениям вдоль линий уровня на поверхности 
у(х) в ФИТ. Полное множество касательных к линиям уровня в данной 
точке х составляет линейное подпространство размерности п - 1, 
дополняющее ортогонально градиент в евклидовом координатном 
пространстве «<. 

По методу оптимизации Коши 1-го порядка движение к экстремуму 
функции У(Х) из начальной и из промежуточных точек С, ©, ..., ©; 
в исходном аффинном координатном пространстве <" осуществляют 
по директивному вектору — градиенту или антиградиенту функции 
с заданными шагами вдоль этих направлений. 
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Если шаги |Чх| для каждой из этих точек уменынаются и в пределе 
стремятся к «+0», то для некоторого класса целевых функций (например, 
выпуклых на заданной области аргумента х) для каждой начальной 
точки ©, однозначно производится определённная непрерывная линия 
движения, или предельная кривая х = х(0), приводящая в итоге из С\ 
в точку экстремума 5°. Эта кривая получается точным образом решением 
дифференциального уравнения Коши: 


Чх/аов, = + В(а) - #[х(а.)], @ > 0, х(0) = с. 


Приближённое (разностное) решение уравнения методом ломаных 
Эйлера даёт вышеуказанный градиентный метод Коши для численного 
поиска экстремума эволюционной скалярной функции У(х). Анализ 
устойчивости решения данного дифференциального уравнения Коши, 
а, следовательно, и анализ сходимости градиентного метода Коши для 
конкретной целевой функции У(х) вообще осуществляют, используя 
метод функций Ляпунова [8]. 

Поскольку слишком частое (т. е. пошаговое) вычисление градиента 
целевой функции увеличивает трудобмкость градиентного метода, 
то гораздо большее распространение получили его же директивные 
модификации: метод крутого восхождения (при поиске максимума) 
и метод скорейшего спуска (при поиске минимума). Направление 
движения из точки ©, по градиенту или антиградиенту сохраняется 
прямолинейным в плоскости (Хх) вплоть до достижения промежуточного 
экстремального значения функции У(с, |). В каждой новой точке ©, | 
опять вычисляют градиент или антиградиент. Затем повторяют ту 
же самую процедуру одномерной оптимизации, но уже вдоль нового 
прямолинейного направления в (Хх). Этим прямолинейным отрезкам 
в плоскости (х), в свою очередь, на поверхности Уу(х) отвечают некие 
ломаные траектории, изменяющие свои направления для каждой новой 
промежуточной точки. Рассмотрим: как это происходит. 

Ввиду того, что в промежуточной точке © е (х) целевая функция У(Х) 
по данному направлению стационарная (т. е. Чу = 0), то в ней ив (447) 
ф = 0. Отсюда это направление в точке © совпадает с касательной 
к линии уровня. Согласно (448), новый градиент в точке © ортогонален 
данной касательной. Поэтому и новое направление движения в ней 
изменяется перпендикулярно предыдущему направлению. В итоге 
поэтапные движения как по методу крутого восхождения, так и по 
методу скорейшего спуска происходят перпендикулярными зигзагами. 
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Такова геометрическая картина этих двух главных модификаций 
градиентного метода Коши. В зигзагообразности общего движения 
заключается главный недостаток обеих модификаций, несмотря на 
их геометрическую наглядность и очевидную простоту реализации. 
В каждой новой промежуточной точке ©, вычисляют новый градиент, 
практически ортогональный предыдущему. Процесс, например, при 
поиске максимума заканчивается тогда, когда 


У(ек) — У(ск) < . (449) 


По директивным модификациям метода Коши точки промежуточных 
экстремумов + ВЫЧИСЛЯЮТСЯ одномерной оптимизацией: 


Ка, 1) = Ук + 1 (с ] =ехи, су = ск (4, 1)° - (©). (450) 


Причём одномерная оптимизация может осуществляться как численным 
методом, так и аналитическим или интерполяционным способом. 

Скорость сходимости и метода крутого восхождения, и метода 
скорейшего спуска в большой степени зависит от соотношения между 
максимальным и минимальным собственными значениями матрицы 
Гессе целевой функции в заданной области. Это совершенно очевидно 
чисто геометрически. Когда отношение близко к 1, то линии уровня 
поверхности У(х) близки по форме к окружностям (сферам), что 
способствует направлению градиента именно к истинному максимуму, 
и антиградиента — именно к истинному минимуму функции, если 
таковые имеются и реализуются в точечном виде. При такой картине 
движения скорость сходимости методов весьма высокая (конкретно, 
отвечает скорости сходимости для методов одномерной оптимизации). 
Однако, если это отношение заметно более 1, то линии уровня имеют 
овражную форму, т. е. вытянуты вдоль некоторых направлений в (Х). 
При этом зигзагообразная траектория общего движения к экстремуму 
петляет перпендикулярно поперёк, а не вдоль оврага, что резко замедляет 
скорость сходимости этих методов. 

В связи с указанным обстоятельством особенно важно учитывать 
такой возможный фактор воздействия на скорость сходимости обоих 
методов, как изменение масштабов по осям 11, — для неоднородных 
переменных. Ведь исходно выбор этих масштабов для них совершенно 
произволен. Масштабы по осям существенно влияют на формирование 
главной диагонали матрицы Гессе — её наиболее действенной части 
в определении собственных значений и отсюда формы линий уровня 
скалярной функции У(Х). 
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В итоге, суммируя всё вышесказанное, можно сделать главный 
вывод, что градиентный метод даёт идеальную сходимость, отвечающую 
методам одномерной оптимизации, именно в том случае, когда целевая 
функция У(хХ) с точностью до коэффициентов модели неполного 2-го 
порядка имеет вид: 


п п 
у(х) = К(®) = У(е, с», ..., ев) + > &(-)+1/2.5:У (м->, 


1=1 1=1 


где © = сопз6 а 8, (компоненты градиента), которые могут как угодно 
различаться между собой. Разумеется, такой требуемый вид целевой 
функции, даже в модели 2-го порядка, маловероятен. Поэтому отсюда 
имеется слишком большой возможный разброс в скоростях сходимости 
процедур по градиентному методу — от максимальной до нулевой. Это 
же значительно ограничивает применение градиентного метода в его 
первозданном виде. Данный недостаток преодолевается в излагаемом 
далее масштабно-градиентном методе. 


$ 5.9. Масштабно-градиентный метод неполного 
2-го порядка и его директивная модификация 


Рассмотренный выше градиентный метод, в сущности, базируется 
на аппроксимации целевой функции в окрестности © моделью 1-го 
порядка: 

п 
УС® = Кх) = У(сь, с», ..., св) + >, #1 (а - с) =У(©) + #(©) . (х-©), (451) 


1=1 


где 8, — компоненты 1хп-вектора градиента в точке с. Но заметно точнее 
исходную целевую функцию У(Х) в окрестности © аппроксимирует 
модель неполного 2-го порядка вида: 


п п 
у(®) = К(х) = У(сь, с», ..., св) +, 21 и - ©) + 1/2. У вн бч- с) = 
1=1 1=1 


= У(е) + 8(©) - (х- © 1/2. (х- ©)’. Б(®) . (х- ©), (452) 


где 5, = 0 — компоненты диагональной пхп-матрицы Гессе О в точке с. 
Кроме того, важно то, что при знакоопределённых коэффициентах 5,,*0 
эта модель позволяет легко получать очередное (К + 1)-е приближение 
к точке экстремума. 
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В каждой новой точке ©, сразу же имеем очередное приближение 
Ск к точке экстремума 5° целевой функции у(х) в результате решения 
градиентного уравнения стационарности типа: 


к(х)/ах’ = э'(ск) + О(ск) . (х-ск) = 0 > 
Я /-21 
— ск = © + [ЫЖеюГ - всю) = «+| .. |. (453) 
2п / пп 


Обратим внимание на простоту обращения матрицы Гессе в данном 
методе. Как и все методы 2-го порядка, он инвариантен по отношению 
квыбору масштабов т; по осям аффинных координат х;. Так, выполним 
их произвольное масштабное преобразование и = О; х, где О — 
диагональная положительная масштабная матрица, и преобразуем 
в новых масштабах вторую часть формулы (453). В итоге имеем то же 
самое инвариантное решение: 


Ош: Жен = Ош: хо + ЕОш Об) Ри Бы жо) > 
21 / Ви 
> що = щю НЕО) - ао) = щю+ | . | (454 
8п /-Впп 





Следовательно, (453) и (454) отображают один и тот же процесс, но 
в разных масштабно преобразованных системах аффинных координат 


в сё". В частности, масштабная матрица типа Ош = |5 ' -[+ О(ск )] 
преобразует матрицу Гессе [-О(с,)] к виду {= $: [}, а сам процесс — 
к форме градиентного метода Коши при ©; = & = соп8 (см. выше в $ 5.8, 
в том числе при © = 1). 


Ук) = Ую = 21. 2'(Убо)- (455) 


Поэтому данный метод можно трактовать как градиентный метод, 
но в котором все масштабы по осям выбраны так, чтобы нивелировать 
различие в собственных значениях $, неполной (т. е. диагональной) 
матрицы Гессе О(с,) — для повышения скорости сходимости процесса. 
Но, что самое главное, в данном методе именно выбору масштабов 
по осям х; (как в градиентном методе) явно не придаётся значения. 
В частности, борьба с овражной сходимостью (см. $8 5.8) выполняется 
автоматически. Отсюда и принятое тут название метода, вынесенное 
в заголовок параграфа. 
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Масштабно-градиентный метод допускает также директивную 
модификацию с побочным движением, как и в методе с одномерной 
оптимизацией типа (450), в направлении на ©,,|, т. е. в данном 
варианте — по директивному вектору неполного 2-го порядка: 


0 =ЕОеоГ" . (©). (456) 


Этот вектор по компонентам имеет те же самые размерности, что и 
вектор х. В его директивной модификации при побочной одномерной 
оптимизации весьма логично применять однотипные процедуры 2-го 
порядка из $ 5.5. 

Масштабно-градиентный метод базируется на модели (452) неполного 
2-го порядка. Геометрически это трактуется в с" как аппроксимация 
поверхности у(Х) на окрестности точки Х; эллиптическим параболоидом 
с эллиптическими п осями, направленными как оси координат базиса Х., 
и с параболической осью, параллельной оси у. Это, разумеется, есть 
значительно более точная аппроксимация поверхности У(Хх), нежели 
плоскостью в градиентном методе. 


5 5.10. Общий метод Ньютона 2-го порядка 
и его директивная модификация 


Объяснение названию изучаемого метода было дано ранее в $5 5.5. 
В рассматриваемом его общем — многомерном варианте применяется 
аппроксимация целевой функции моделью полного 2-го порядка: 


У) =а(х) = У(ст, со, ..., сп) +81 ис) +12» Ув би-с) (фсе) = 





15 Е 
=у(с)+5(©).&-©+12-(&-9'.6®.&-9, (457) 
где 8; = 2; — компоненты симметричной пхпй-матрицы Гессе а 


в точке с. Геометрически это трактуется в <" как аппроксимация 
поверхности У(Х) в окрестности точки Хх, эллиптическим параболоидом 
с эллиптическими П осями, направленными как собственные векторы 
матрицы Гессе, и с параболической осью, параллельной оси у. Это, 
разумеется, есть гораздо более точная аппроксимация У(х), нежели 
плоскостью в градиентном методе и параболоидом в масштабно- 
градиентном методе. Однако необходимое тут обращение матрицы 
Гессе— вычислительно трудоёмкая операция. Оно применяется именно 
для поиска очередного приближения к точке экстремума. 
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Общий метод Ньютона формально следует из градиентного метода 
Коши, но с общей линейной оптимизацией векторной переменной. 

Так, если 4е{ С = 0, то данная модель позволяет выполнять очередную 
итерацию в результате решения градиентного уравнения стационарности: 








дас®)/ах' = в'(ек) + 6(сю) -(х-сю =0 > ски=ск+ [0 .в'(ю. (458) 


Это соответствует поиску строгого экстремума уровня р =2 ($ 1.1) 
любого характера. Как все методы 2-го порядка, общий метод Ньютона 
инвариантен по отношению к выбору масштабов 11; по осям аффинных 
координат х,. Хотя, конечно, этот выбор как-то влияет на скорость его 
сходимости, если рассматривать влияние членов в разложении У(х) по 
формуле Тейлора порядка более 2-х. Для функции порядка 2, как а(Х) 
в (457), этот метод даёт из (458) сразу же искомый экстремум за одну 
итерацию — при условии, что он имеется и что он строгий (точечный); 
при этом @ = Соп% и 4её С = 0. 

Если не учитывать все вычислительные затраты на обращения 
матрицы Гессе, необходимые после каждой итерации, то в общем 
методе Ньютона поэтапное сужение интервала оценивается аналогично 
и по тем же самым соображениям, что было показано в $ 5.5. Степень 
сжатия отображения х = ф(х) на каждой итерации оценивается сверху 
аналогично формуле (440) — через коэффициент т в требовании 
непрерывности по Липшицу для функции Ф(х): 


К 
Г 
< ф 


т 2-91 
1-е 


® 
$ С 














Здесь для начальной точки с, целевая функция в её окрестности должна 
быть равномерно непрерывной и строго выпуклой (вогнутой), причём 
так, чтобы выполнялось хотя бы требование и < 1, алучше Го < 1/2. 
При каждой новой итерации коэффициент Ее продолжает уменьшаться 
и часто квадратично. Это и обеспечивает скорость сходимости общего 
метода Ньютона, согласно Л. В. Канторовичу, также порядка 2, а не 1 
[20, 21]. Но последнее имеет место при выполнении определённых 
требований к матрице Гессе в точке с/ и к матрице третьих производных 
на области (Хх). 

Общий метод Ньютона тоже допускает директивную модификацию 
при побочном движении с одномерной оптимизацией в направлении на 
Ск; | Т.е. по директивному вектору 2-го порядка типа: 


р(е) = С(е Г! . = (©). (459) 


$ 5.10. Общий метод Ньютона 2-го порядка 237 


Этот вектор по компонентам имеет те же размерности, что и вектор х. 
При произвольном масштабном преобразовании и = Ох имеем: 


р(и(к)) = Е Ох): в : р |. 85) с В Р(х(о). (460) 
Т. е. и здесь директивный вектор преобразуется масштабно всегда так, 
как их! В общем методе Ньютона, как в предыдущем, для одномерной 
(побочной) оптимизации У(Х) весьма логично применять однотипные 
с ним процедуры 2-го порядка из $ 5.5, в том числе их разностные 
модификации. Директивная модификация, разумеется, значительно 
повышает эффективность общего метода Ньютона в целом. Но, что 
особо важно, снижается трудоёмкость вычислений, затрачиваемых на 
обращения матриц Гессе (их количество сокращается). Метод Ньютона 
для повышения эффективности оптимизации в целом целесообразно 
применять после градиентного и масштабно-градиентного метода. 
Если матрица Гессе С(Х) в окрестности строгого экстремума У(х) 
плохо обусловлена (т. е. 4её С = 0) или в окрестности нестрогого 
экстремума У(х) вырождена (т. е. 4е{ С = 0 или более общо гапе С < п), 
то общий метод Ньютона малоэффективен или даже неэффективен. 


В первом случае помогает укрупнение масштабов 11 ; по осям базиса, но 
это снижает точность оптимизации. Универсальный способ разрешения 
проблемы состоит в применении метода квадратичной регуляризации 
по Тихонову (см. $ 5.10). 

Отметим также, что рассмотренные выше основные именные 
методы многомерной оптимизации изначально были предложены 
для иных вычислительных целей, т. е. методы Коши и Зейделя — для 
численного решения систем совместных линейных уравнений, метод 
Ньютона — для численного нахождения корней уравнения Кх) = 0. 
Они оказались настолько всеобщими, что с успехом в изложенных 
вариантах нашли применение и для оптимизации целевых функций. 
Если вспомнить, что и решение системы линейных уравнений Вх = а 
достигается минимизацией модуля невязки — также целевой функции 
от векторного аргумента, то все рассмотренные методы многомерной 
оптимизации 0-го, 1-го и 2-го порядков можно поставить в соответствие 
релаксационным методам решения систем линейных уравнений. 

Кроме того, для ряда многомерных методов 1-го и 2-го порядков 
возможность их разностных модификаций оговаривалась пока только 
для директивных модификаций — на стадии побочной (одномерной) 
оптимизации. Однако для главных (многомерных) итераций разностная 
модификация тоже возможна, но она потребует вычисления значений 
целевой функции по неким определённым планам расположения точек 
в координатном пространстве (гл. би 7). 
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$ 5.11. Регуляризация по Тихонову в методах 2-го порядка 


Метод регуляризации, предназначенный для численного решения 
некорректных задач линейной алгебры и анализа (см. ранее в $ 2.4), 
изначально был предложен для этого А. Н. Тихоновым в 1965 г. 
Далее этот метод всесторонне развивался им и его школой в ряду 
многочисленных последующих публикаций [36, 37]. Главная цель 
данного весьма общего метода заключается в том, чтобы при решении 
неких особых задач, связанных с обращением матричных операторов, 
в условиях производимой обращением явной неопределённости или 
множественности решения вычислять однозначную, или корректную 
по Тихонову точечную оценку решения исходной задачи. 

Например, с такими подобными проблемами часто сталкиваются 
при решении численными методами 2-го порядка задач на экстремум 
целевых функций У(х) хотя с определённой, но плохо обусловленной, 
или даже с полуопределённой матрицей Гессе 4?у/Ах'Ах. В широкой 
трактовке метода регуляризации Тихонова дополнительно применяется 
некоторая специально выбираемая функция 0"0(х), или стабилизатор. 
Соответственно при этом оптимизируют композиционную функцию 
Тихонова: Ти (х) = у(х) + и. 0(х). Скалярный множитель © выбирают, 
с учётом необходимой размерности и достаточно малым по величине. 
Стабилизатор 9*9(х) должен быть того же порядка малости, что и общая 
погрешность для У(х). Точечный экстремум скалярной функции 0(х) на 
области плохой обусловленности или вырожденности общего решения 
исходной задачи (х) определяет её корректное (т. е. точечное) решение. 
Оно, вообще говоря, не является каким-то наилучшим решением этой 
задачи. Главное здесь то, что метод регуляризации в итоге обеспечивает 
результативность общего процесса оптимизации. 

Квадратичная регуляризация, применённая в первой публикации [36], 
исходит из требования минимума квадрата евклидовой нормы для радиус- 
вектора решения задачи (пит 0(х) = хх или № х'Х). Она даёт однозначное 
нормальное (квази)решение, например, плохо обусловленного линейного 
‘уравнения типа Ах = а при некоем значении множителя корректности 9. 
(При этом лишь при операциях с точными переменными и их целевыми 
функциями оправдано применение значения © — 0.) Причём нормальные 
решения не инвариантны к масштабным преобразованиям — см. $ 4.5. 

Такой подход, например, может применяться в вышерассмотренных 
методах численной оптимизации с моделями целевых функций У(х) 
неполного и полного 2-го порядка. 
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$ 5.12. Условная численная оптимизация 


Ранее в гл. 2 ($58 2.1—2.4) была рассмотрена аналитическая условная 
оптимизация целевой функции у = У(Х) на некоторой гладкой регулярной 
Ч-поверхности (Х) < с", заданной или параметрическим способом, 
или ограничительным способом. Оба способа, в сущности, являются 
функциональными. Принципиальное же различие между ними состоит 
в том, что в первом случае множество (Х) является образом некоего 
преобразования, а во втором случае множество (Х) является ядром 
некоего преобразования. Это позволяет при выполнении определённых 
требований к У(Х) и (Х) далее вполне естественным путём переходить 
к численным методам решения подобных задач условной оптимизации. 
Иные же возможные способы задания допустимого множества (Х) для 
векторной переменной Х не рассматриваются ввиду того, что выходят 
за рамки содержания данной монографии. А именно, такие способы 
относятся уже к сфере интересов математического программирования 
[см., например, 21]. 

Если переменная Х принадлежит некоторой а-плоскости (Х) < о, то 
для условной оптимизации целевой функции У(Х) логично использовать 
тоже условные (т. е. проективные) аналоги директивных векторов 1-го 
и 2-го порядков с применением симметричных характеристических 


<— > 
проекторов АА’ или А’А (см. $$ 2.1 —2.2). 

Что очень важно, эти проекторы для обоих вышеуказанных способов 
задания плоскости (Х) — параметрического и ограничительного тут 
постоянны и вычисляются из данной матрицы А всего только один раз. 
В координатном пространстве <#1 они имеют аффинный характер, но 
в © они проецируют ортогонально. 

Но если переменная Х принадлежит некоторой гладкой регулярной 
криволинейной 4-поверхности (Хх), то для условной оптимизации 
целевой функции У(Х) необходимо применять более общие процедуры. 
Таковыми, например, являются методы нормальных проекций 1-го 
или 2-го порядков с использованием промежуточной линеаризации 
Ч-поверхности (Х) перед каждой главной итерацией. 

В свою очередь, рассмотренные ранее (см. $ 2.4) функциональные 
предельные методы условной аналитической оптимизации целевых 
функцийсбольшим ималым параметроманалогично трансформируются 
в соответствующие численные процедуры — с решением предельного 
уравнения стационарности и еб анализом. 
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5 5.12.1. Методы 1-го и 2-го порядка для функций 
от линейно зависимой или ограниченной 
векторной переменной 


В этом параграфе рассматриваются численные методы 1-го и 2-го 
порядков условной оптимизации функции у =У(Х), где Х Е (Х) с ©#1— 
или линейно зависимая, или линейно ограниченная вектор-переменная. 
С целью упрощения общей задачи примем, что (Хх) < (@ < с©@1, где Д— 
область определения целевой функции У(Х). Кроме того, при условном 
характере её экстремума имеем повсюду Ау/Ах(Х) = 0. 

В первом варианте плоскость (Х) задаётся параметрически ($ 2.1): 





(х): = (и) =  +А(и-©=Аш, А, -с=6е(Х); (461) 


где и Е <#Ч — независимая вектор-переменная размерности 4 < п, 
с — точка в <, А, = Сопз{ — пх4-матрица трансляции из © 9 в сё", 
тгапе А| = 4. 

Во втором варианте плоскость (Х) задаётся ограничительно ($ 2.2): 





(х): (Х) =А›х -а=0, ае (А), (462) 


где[. е <#"— функция ограничения размерности т <п, а—точкавоф", 
А)> = Соп%{— пахп-матрица преобразования из ©" в ©#", гапз А› = т. 





Важно, в частности, если Се (Х), то А.С —а=0и/.(Х) =А_(Х ©=0 
упрощённая линейная функция ограничения. 

При а = п — м имеется однозначная взаимосвязь обоих способов 
задания -плоскости (Х), что определяется, во-первых, одним и тем же 
начальным значением переменной Х = Си, во-вторых, сингулярными 
соотношениями типа: 


— > 

{шт А1) = (КегА2) <> АА,’ =А,'А, =П =П,, (463) 
< 

где А, А,’— проектор в сё" на (ип А |) параллельно (КегА/’), 


:5 

А,’'А,— проектор в ©#" на (Кег А„) параллельно ( ии А,'). 

(В евклидовом координатном пространстве они попросту ортопроекторы. ) 
Соответственно изложенные в $$ 5.8, 5.9 и 5.10 методы оптимизации 

трансформируются в условные аналоги. Для реализации этого подхода 

директивные векторы проецируются своими проекторами на допустимые 

направления, т. е. из начальной точки © е (Х) на Ч-плоскость (Х). 
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По методу условного градиента или антиградиента направление 
движения из начальной точки © е (Х) осуществляется по директивным 


векторам условного градиента или антиградиента 


4 | ау _\ 
| © | ==. © 


4х (464) 


вдоль некоей прямолинейной траектории в плоскости (Х) — вплоть до 
достижения условно экстремального значения функции У(©°) по этому 
направлению. После данной операции в точке С° вычисляют условный 
градиент или антиградиент и затем повторяют процедуру одномерной 
оптимизации у(Х) вдоль нового прямолинейного направления в пределах 
плоскости (Хх). Направление всегда выдерживается автоматически в (Х), 
в силу линейного характера переменной Х вс". 

В условном аналоге масштабно-градиентного метода к итерации 


(453) применяется то же проективное преобразование: 





| =П.'(&)+П.0(&).П-@&-&)=0 


в =@ +П:[-5(,)] 'П-=’&,). (465) 


Наконец, в условном аналоге общего метода Ньютона к итерации 


(458) применяется то же самое проективное преобразование: 


чо -П.2'(&.)+П.6(&.)-П-<-&)=0 > 
Хх 
— кн = +1. [-6(&, |" <’): (466) 


Последние два метода условной численной оптимизации допускают 
тоже свои директивные модификации — побочные движения в пределах 
плоскости (х ИЗ ТОЧКИ с. в направлении на С т.е. по своим условным 
директивным векторам 2-го порядка с использованием процедуры 


одномерной оптимизации также 2-го порядка. 
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5 5.12.2. Методы нормальных проекций 1 и 2-го порядка 


Эти методы базируются на идее промежуточных линеаризаций 
гладкой и регулярной криволинейной а-поверхности (Х) в начале каждой 
главной итерации, т. е. последовательно в точках ты с, ро с Е (Х). 
Линеаризация осуществляется, согласно требованиям леммы 1 ($ 2.1) 
и леммы 2 ($ 2.2), для аппроксимации в них условных (проективных) 
директивных векторов. 

При параметрическом способе задания Ч-поверхности (Х) в точке © 
имеем линеаризацию: (/) = © + (ип 4х/Чи(с)) — см. формулу (63). 

При ограничительном способе задания Ч-поверхности (Х) в точке © 
имеем линеаризацию: <(/) = © + (Кег ЧВ/4Х(6)) — см. формулу (73). 

Здесь применяются значения функциональных первых тензор- 
производных в исходной точке: 





Чх/Аи — пх4-матрица Якоби постоянного ранга 4 < п, 
ЧВ/Ах — пхп-матрица Якоби постоянного ранга т < п. 

Далее с целью наглядной геометрической интерпретации общей 
процедуры перейдём в евклидово координатное пространство «2, 
соответственно при этом введя в нём понятие евклидова расстояния 
между его отдельными точками. Хотя, разумеется, при неоднородных 
частных переменных Хх; (см. $ 5.6) такое понятие имеет неоднозначный 
характер и находится всегда в зависимости от выбираемых масштабов 
по осям координат, которые, по сути, произвольные. Это в подобных 
случаях надо учитывать. 

Главные (итерации) или побочные движения из каждой точки © е (Х) 
выполняют, согласно директивным векторам или (464), или (465), или 
(466) в зависимости от используемого основного метода для условной 
оптимизации. В результате вначале делают аппроксимацию © в () для 
точки промежуточного экстремума С*е (Х) целевой функции У(Х) по 
заданному направлению. Ведь вследствие искривления 4-поверхности 
(Х) траектория движения по ней из © в заданном направлении в 1 
криволинейная. Следовательно, точка ©” находится в «21 на некотором 
расстоянии 4 от (Х). Если а-поверхность (Х) имеет положительную или 
отрицательную кривизну (без изменения знака), то при её гладкости 
и регулярности однозначно решается задача минимизации в <›1 квадрата 
расстояния 4 от точки ©°до поверхности (Х) с вычислением новой точки 
промежуточного условного экстремума У(Х) как ортопроекции *е (Х). 
Минимальное расстояние в <>" геометрически здесь отображает вектор 
нормальной проекции из ©’ на (9). 
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По тем же самым геометрическим соображениям и при данных 
требованиях к Ч-поверхности этот однозначный вектор ортогонален в 
точке пересечения с поверхностью по отношению к новой касательной 
к ней в этой же точке аппроксимирующей 4-плоскости {/) — см. выше. 
Теоретически он вычисляется из уравнения относительно Х 


ПХ). (%-6)=0, (467) 


где функциональный характеристический ортопроектор П(Х) в &71 
выражается в 2-х вариантах задания -поверхности (см. $$ 2.1, 2.2) как: 


< > 
я (&) ав) а 

П®) = < (= ‚ п = [© а (468, 469) 
ди \ да х ах 


Вычисленная в результате решения именно вспомогательной задачи 
квадратичной минимизации точка б*е (Х) является исходной точкой 
для повторения вышеописанной процедуры. Таким образом, в итоге 
приходят к точке 5* условного экстремума целевой функции У(Х). 


5 5.12.3. Методы с большим и малым параметром 


Ранее в $ 2.4 было дано теоретическое обоснование предельных 
методов условной оптимизации функций У(Х) с большим и малым 
параметром, а также показана их полная тождественность (парное 
соответствие) и общая сфера применимости. Поскольку аналитическое 
решение предельных уравнений стационарности (М — с или @ -> 0) 
возможно только в некоторых простейших случаях, то для полной 
реализации всех возможностей предельных методов целесообразно 
прибегать к численным процедурам с заданной точностью. 

В сущности обоих методов заложено следующее. Если условный 
экстремум в задаче с ограниченной векторной переменной Х ($ 2.2) 
существует, то точка экстремума 5° обязательно является решением 
предельных уравнений типа (109) и (111), т. е. в широкой трактовке этих 
методов, или при симметрии матрицы Якоби АВ/Ах является решением 
предельных уравнений (100) и (103), т. е. в специальной трактовке этих 
методов. Обратное утверждение также верно. 

Предельный метод с большим параметром в широкой трактовке 
известен как метод итрафных функций. Он возник и начал развиваться 
в середине ХХ века. Идея метода принадлежит Куранту [см., например, 11]. 
Главным достоинством этого метода является то, что он сводит исходную 
задачу условной оптимизации к задаче на безусловную оптимизацию! 
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Численная процедура метода штрафных функций базируется на 
том, что с увеличением параметра М решение предельного уравнения 
(109) неуклонно приближается к точке $ условной стационарности 
(экстремума) целевой функции. Причём в численной интерпретации 
метода применяется экстраполяция решения уравнения (109) к М -> со. 
Решение разбивается на последовательность безусловных оптимизаций 
КС) при №, М,, ... ‚, №. Конечный этап есть экстраполяция решения 
к М —> ©0, когда она явно прослеживается. Для повышения точности и 
реализации сходимости с 2-х сторон от 5° (по линии экстраполяции) 
возможна модификация численного метода со значениями большого 
параметра + М, + М, ..., + М;, ... , +00. Экстремум аппроксимируется 
как среднее арифметическое из левых и правых значений. 

Этот метод при симметричности матрицы Якоби: АВ/4х = (4/ах), 
но при этом гапе АВ/Ах = т = сопзь, в качестве предельного уравнения 
стационарности имеет более простое прародительское уравнение (103). 
Тогда АВ/Ах, вместе с тем, является и матрицей Гессе для некоторой 
иной скалярной функции типа Ех) = | В’(х) 4х. В этом случае условный 
экстремум У(Х) находится на области вырожденной стационарности 
интегральной функции ограничения КХ). 

Формально, умножая (103) на а = 1/М, продуцируем эквивалентный 
ему метод с малым числовым параметром 0, который иногда более 
удобен для численной реализации, в том числе при оценке скорости 
сходимости самой процедуры условной оптимизации [21]. Излинейной 
аппроксимации типа (105) видно, что при достаточно малом © решение 
предельного уравнения (100) или (111) линейно и опять с обеих сторон 
приближается к точке условного экстремума 5°. Это является основой 
процесса его численной экстраполяции к @ — + 0: 


х; (9) = $ +а: ща). (470) 


жж 


Пример. Пусть некоторое вещество получается из п ингредиентов 
с относительными долями Х|, Х., ..., Хи (Хх) НХ. +... + хи =Ь Хх, > 0). 
Данная область ограничения есть правильный (п - 1)-симплекс, или 
гиперсимплекс с рёбрами, равными \2, опирающимися на вершины 
единичных орт. При варьировании долей ингредиентов некое полезное 
свойство вещества у приобретает максимальное значение при Хх = $. 
Применяя проективный подход (5$ 2.2, 5.12.1), осуществляем движение 
к точке максимума $ целевой функции У(х) по директивному вектору 
условного градиента: 


Гау/ах | = ду/ах — [(Чу/Ах, + Фу/@х. +... +4у/Ах )/] ® (1, 1,..., 1). 


(При п = 2 имеем одномерную оптимизацию вдоль гипотенузы.) 


Глава 6. Планово-вычислительная п-мерная 
оптимизация по минимальным планам 


5 6.1. Общие положения 


Планово-вычислительные методы п-мерной оптимизации целевой 
функции целесообразно применять тогда, когда вычисление еб тензор- 
производных (градиента и матрицы Гессе) весьма сложно и трудоёмко. 
Значительно легче, используя некий план, найти их разностные оценки, 
применяя степенные разностные модели целевой функции 1-го или 2-го 
квазипорядка, т. е. в виде суммы членов еб степенного ряда Тейлора до 
1-го или 2-го порядка включительно. Но в нём все частные производные, 
по сути, оцениваются как отношения методом конечных разностей! 

В изучаемых далее методах оптимизации исходно используют лишь 
значения целевой функции в точках по некоему минимальному плану 
в < #1 (где количество точек равно количеству коэффициентов модели). 
Затем на их основе аппроксимируют К-Й директивный вектор в исходной 
точке ©. По директивному вектору из точки ©, осуществляют движение 
к промежуточному экстремуму в точке ©. |. Далее она становится новой 
исходной точкой. Процедуру повторяют до выполнения неравенства (449), 
что отвечает оценке точки стационарности $ (где градиент обнуляется). 
Если необходимо, в ней вычисляют разностную оценку матрицы Гессе 
по новому плану для описания функции в окрестности точки экстремума. 
Эта картина на моделях 1-го и 2-го порядка приведена в $$ 5.8 — 5.10. 

Разностные оценки, наряду с ошибкой округления, дополнительно 
содержат и систематическую ошибку аппроксимации. В зависимости 
от значений тензор-производных У(х) порядка 2, 3, ... и плана её вклад 
может быть весьма существенным. Поэтому для снижения зависимости 
от такой малопредсказуемой ошибки движение к экстремуму функции 
в плановых методах 2-го порядка целесообразно осуществлять только 
по траекториям директивных векторов. На каждом его этапе реализуется 
одномерная численная оптимизация, но в определённом направлении. 
Её возможные процедуры — те же самые, что и вообще в одномерной 
численной оптимизации: или пошаговые, или поинтервальные ($ 5.2). 


246 Глава 6. Планово-вычислительная п-мерная оптимизация 


5 6.2. Критерий адекватности планово-разностных моделей 


Методы оптимизации, использующие разностные полиномиальные 
модели целевых функций, — это часть аипроксимационного анализа. 
В данном анализе по аналогии конструируются численные процедуры, 
базирующиеся на соответствующих функциональных процедурах, но 
теперь с использованием исходно лишь значений целевой функции. 
В п-мерном варианте эффективность подобных процедур значительно 
зависит от выбора плана вычислений, т. е. положения его точек х аВ софт, 
а также от размеров интервалов варьирования частных переменных Х,, 
которые должны быть достаточно малы (а точки близки к центру плана). 
Отсюда неизбежно встаёт вопрос о наиболее рациональном критерии 
для оценки адекватности целевой функции и её разностной модели. 

Пусть в координатном пространстве ©" на окрестности точки ©, 
составлен некий план вычислений, состоящий из множества точек (ха), 
где а = 0, ..., М- 1; М№М— количество точек в плане. Соответственно 
(у и есть полное множество значений целевой функции в точках плана. 
Необходимо тут каким-то корректным образом оценивать адекватность 
целевой функции У(х) и получаемой на основе значений (ха и (У её 
разностной полиномиальной модели У(х). Критерием адекватности 
может являться относительная ошибка модели на области плана: 





ты Е 
У. -У 
м 

100% 


Утах — Ува (471) 


Е = 


где Узи У. значения функции и разностной модели в точках плана 
(они могут совпадать в некоторых точках, например, иногда в нулевой), 
УнахИ Ум Максимальное и минимальное значения целевой функции 
на точках плана, оценивающие размах выборки (Уз. Принимаем, что 
при & < 5% модель адекватная и её можно применять для оптимизации 
целевой функции. Если & > 5%, то, напротив, принимаем, что модель 
неадекватная. Тогда необходимо уменьшить интервалы варьирования, 
хотя бы для некоторых частных переменных Х;. Причём сделать отбор 
частных переменных х; можно через анализ вкладов частных слагаемых 
в сумму квадратов под корнем в (471). 

Заметим, что аналогичный критерий с порогом 5% применим для 
оценки адекватности целевой функции и её регрессионной модели 
в планировании эксперимента — см. $5 7.4. Обычно уровень 5% для 
допустимой ошибки или обратно — уровень для надёжности 95% 
считаются приемлемыми в процессах плановой оптимизации [15]. 
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8 6.3. Вычислительная оптимизация по плану квадрантный 
п-симплекс с разностной моделью 1-го порядка 


Планово-вычислительная градиентная оптимизация в координатном 
пространстве <" базируется на аппроксимации целевой функции У(Х) 
разностной моделью 1-го порядка с её коэффициентами, полученными 


в виде разностных оценок в точке с, причём \ = у(©): 


п 
у(х) = (к) =, +8 -(х, —с,) = У(е)+8-(х-©), (472) 
1=1 
= Ау — 
где, = о 1хп-вектора разностного градиента 5. 


1 

Самый простой и при этом минимальный план вычисления значений 
функции У(х) для реализации метода — это квадрантный п-симплекс. 
Все точки данного плана расположены в пределах одного квадранта 
координатного пространства, — как правило, 1-го. В принципе, когда 
уже имеется информация о направлении движения к оптимуму, может 
выбираться и более подходящий квадрант для (анти)градиента. Схема 


метода условно отображена на рис. 13 при п = 2 в декартовом базисе: 


2-й квадрант 1-й квадрант 





Рис. 13. Поиск максимума или минимума целевой функции У(х) при 


п = 2 по плану квадрантный п-симплекс в 1-м квадранте. 
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Из примера на рис. 13 видно следующее. Несмотря на то, что точки 
исходного плана находятся формально в 1-м квадранте, градиент 8 
при п >2 может оказаться в любом из 21 квадрантов. При этом вектор 
антиградиента ^ 8 окажется ему зеркально симметричен относительно 
точки ©. Конкретно в примере, данном на рис. 13, векторы градиента и 
антиградиента расположены в 4-м и 2-м квадрантах. Далее имеем: 
хе = (ст, С), хи) = (с. +АХ |, >), хо = (С, с +Ах,) — план; 

Дх | и Ах, — частные вариации переменных х;; 
УС) 5 УС) = У(хо)) = У — значения функции в точках плана. 

Компоненты вектора градиента в примере выражаются так: 


= УГУ 2 У У - и - 
в = 1 — Ва 2 °`, в=(Е.Е. 
АХ АХ, 





План содержит 3 точки. В общем случае при п > 2 количество точек 
в плане квадратный п-симплекс составляет № „=ип + 1=К + 1, т.е. равно 
количеству коэффициентов. Поэтому план является минимальным. 

Компоненты директивного вектора градиента оцениваются так: 
о ви: (473) 
&=2—°, 8=(8,). 

1 

Движению по вектору разностного градиента $ из начальной точки с 
соответствует метод крутого восхождения, а движению по вектору 
разностного антиградиента —$ из начальной точки © соответствует 
метод скорейшего спуска ($ 5.8), причём в их планово-разностных 
модификациях. Все ранее указанные недостатки градиентного метода 
остаются в силе и в данных модификациях, усугубляясь дополнительно 
систематическими ошибками, заложенными в разностной модели (472). 
Главный недостаток — это в той или иной степени овражный характер 
сходимости процесса к экстремуму, проявляемый из-за произвольности 
выбираемых масштабов по осям координат (например, для физических 
переменных — их размерностей). Кроме того, градиентный метод не 
даёт какой-то оценки искривления поверхности отклика У(Х) в с". 
Эти недостатки преодолеваются в масштабно-градиентном методе. 

Отметим, что выбранный выше в © в качестве плана вычислений 
функции отклика и еб градиента квадрантный п-симплекс на множестве 
всевозможных П-симплексов является наиболее простым — с точки 
зрения как структуры этого плана вычислений, так и его реализации. 
Разумеется, он только чисто иллюстративно отображается в декартовом 
базисе, хотя, по сути, является аффинным геометрическим объектом. 
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8 6.4. Вычислительная оптимизация по плану осевой 
п-крест с разностной моделью неполного 2-го порядка 


Планово-вычислительная масштабно-градиентная оптимизация 
в координатном пространстве <#П базируется на аппроксимации 
целевой функции отклика у(х) разностной моделью неполного 2-го 
порядка с коэффициентами, полученными в виде разностных оценок 
в точке с, причём 8 = У(С): 


2 и В 
У(® = У) =, +». 8, -(х, в) +528 ‚(х, с, = 
1=1 1=1 


= 1 д 
а. (474) 
- Ау — 
где В = —_—_ элементы разностного 1хп-вектора градиента 5, 
АХ, 
— А 2 у 


— элементы разностной пхп-матрицы Гессе р. 





8 Ах? 

Наиболее простой, причём минимальный план вычислений значений 
целевой функции У(хХ) для реализации метода — это осевой п-крест. 
Все точки данного плана расположены по осям координат в парных 
направлениях, одна точка находится в центре. Схема метода с планом 


условно отображена на рис. 14 при П = 2 в декартовом базисе. 








Рис. 14. Поиск максимума или минимума целевой функции У(х) при 
п = 2 по плану осевой п-крест. 
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Обратим внимание на то, что директивный вектор неполного 2-го 
порядка ] находится всегда в тех квадрантах, что и векторы градиента 
5 или антиградиента —$, что обусловлено их чисто масштабным 
характером взаимосвязи. (На рис. 14 это условно 4-й квадрант.) 

Конкретно в примере на рис. 14 имеем: 
хо=е= (С1, Со), хи) = (С +Ах|, С), хо) = (с -Аху, 62), 
хз)= (С1› Со +Ах,), хд= (С1, С - Ах›) — план; 





АХ | и дх, — частные вариации переменных Хх, 
УС) =Ус УС) =Урь УСО) =У›, УС) = У, УСК (4) = у. — значения 
целевой функции в точках плана. 

Компоненты вектора градиента и матрицы Гессе оцениваются так: 











БЕ 2 = а а а а 

т (5,,5,); 

_ У+У,-2-У0 —  У.,+У,-2.У0 д |810 

о о в. 
Ах Ах, 0 $> 


План на рис. 14 содержит 5 точек. В общем случае при п > 1 количество 
точек в плане осевой п-крест составляет М = 2п + | К+1=М 











п" 
Следовательно, этот план является минимальным для модели (474). При 
п > | по первым слева формулам в (475) вычисляют последовательно 5. 
и 5, вдоль каждой 1-й оси координат: 





5. У А Са 
Вах в (8); 
ь (475) 
„ учу Ра: 3 
и : те ° 2 р { ы! 


В частности, при п = 1 процедура поиска сводится к одномерному 
планированию 2-го порядка, т. е. к разностному методу ньютоновского 
типа ($ 5.5). 

Пошаговое движение к промежуточному или конечному экстремуму 
из точки © осуществляют при п>2 по директивному вектору: 

8: / Ви 
1=(-5) -&'=--.....---. (476) 
Этот вектор и радиус-вектор х по компонентам имеют одни и те же 


размерности. При изменениях масштабов по осям они преобразуются 
ковариантно. Формально масштабы не влияют на скорость сходимости. 
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Особо тут отметим то обстоятельство, что укрупнением масштабов 
по осям х; можно при необходимости добиваться пропорционального 
уменьшения отношений 5;/ 5. в (476), что важно, если знаменатели 
5.; слишком малы и не точны. Тогда знаменатели 5.. увеличиваются на 
порядок больше, нежели числители $. 

Весьма наглядным признаком движения к экстремуму функции У(Х) 
является один знак для всех В. 3 0. (Но разные знаки хотя бы для пары 
5: свидетельствуют о локальной седловине целевой функции.) Причём 
с приближением к искомому экстремуму У(х) числители 5. неизбежно 
с замедлением уменьшаются вплоть до выполнения результативного 
неравенства типа (449). Хорошим признаком эффективности метода 
является то, что приближение к экстремуму сопровождается только 
уменьшением значений всех 5, а все 5, при этом весьма значимые. 

Если матрица О(х) в окрестности строгого экстремума У(х) 
плохо обусловлена, т. е. при $ —> 0 некоторые 5., = 0 (несмотря на 
укрупнение масштабов), или в окрестности нестрогого экстремума 
у(х) вырождена, т. е. при 8 —> 0 некоторые 5.. = 0, то данный метод 
в базовом варианте неэффективен, так как приводит к слишком 
большому разбросу результата из-за неизбежных ошибок округления 
и аппроксимации в значениях целевой функции. Однако действенным 
способом разрешения этой проблемы может быть применение метода 
квадратичной регуляризации по Тихонову (см. $ 5.10). 

В качестве параметра квадратичной регуляризации, например, здесь 
можно выбрать 0, = тах{ 5. / Ах, } —> 0. Тогда в итоге имеем довольно 
устойчивую оценку: 


м =-(Р=а!) '.5,, (477) 


согласованную с элементами 5. по размерности и убывающую по 
величине по мере приближения к экстремуму функции. В таком случае 
благодаря приобретаемой устойчивости пошаговой вычислительной 
оптимизации соответственно резко увеличивается скорость сходимости 
процедуры кэкстремуму целевой функции. Хотя сам ебэкстремум может 
быть иногда недостаточно строгим, а то и вообще нестрогим. Главное, 
тут находится такое сочетания значений частных переменных х., при 
котором целевая функция имеет экстремальное значение. (Масштабы 
по осям координат х, при регуляризации могут оказывать влияние лишь 
на находимые значения переменных, но не целевой функции.) 
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8 6.5. Вычислительная оптимизация по плану п-АКП 
с разностной моделью 2-го порядка 


Планово-вычислительная оптимизация общеньютоновского типа в 
координатном пространстве <#1 базируется на аппроксимации целевой 
функции разностной моделью полного 2-го порядка с коэффициентами, 
полученными в виде разностных оценок в точке с, причём 5 = у(с): 


уу в 8, (60+ >> 8-е) (6) 
1=1 


1=11=1 


= © +8--9 +5. -©'-б (ко, 


(478) 
- Ау = 
где 5; ——___ —_ элементы разностного 1хп-вектора градиента 5, 
АХ. 
| 
д А“ АУ = д? Ев 
5:= и - 2 5: = 


АХ, АХ, _элементы разностной пхП-матрицы Гессе С. 
Наиболее простой, причём минимальный план вычислений значений 


целевой функции У(х) для реализации метода с моделью типа (478) — 
это П-АКП (асимметричный композиционный план). Данный план есть 
композиция из осевого плана П-крест и его угловых точек в каком-то 
одном квадранте каждой координатной плоскости (х., х). Схема метода 


с планом условно показана на рис. 15 при п = 2в декартовом базисе. 











Рис. 15. Поиск максимума или минимума целевой функции У(х) при 


п=2 по асимметричному композиционному плану. 
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Директивный вектор 2-го порядка р, хотя и не обязательно должен 
находиться в том же квадранте, что и векторы $ или —8, но вероятнее 
находится в нём (или, по крайней мере, в смежном), что обусловлено их 
знакоопределённым симметрично-линейным характером взаимосвязи. 
Отсюда целесообразен выбор градиентного при поиске максимума или 
антиградиентного при поиске минимума квадранта для оценки 2 

Конкретно в примере при п = 2 на рис. 15 имеем: 

Хо == (С, 62), Жу) = (©, +АхХу, 62), Хо) = (©, -Аху, со), 

хз)= (с, с> + Ах»), хд)= (с, с. -Ах.), х5)= (с +Ах/, с, + Ах.) — план; 
ДХ| и АХ, — частные вариации переменных хХ;; 

УС) —У УСК») —Ур, Ухо») —У», УСК») — Уз УС 4) —Ул УСХ(5)) =У5— 
значения целевой функции в точках плана. 

Компоненты вектора градиента и матрицы Гессе выражаются так: 














= _ У У2 д _ Уз Уд НЫ" < 
5 2. Ах, > 5› 2.Ах, > 5 (5.8: ): 
= + -2. = + -2.у 
вн = У = Уо ‚8 = Уз = о. (479) 
р —_ & _ Ус- У, + У5 - Уз = 11 812 
59@=- 
в Ах, Ах, 52: 822 








Прип > 2 для заданных сочетаний координат Х; и х; применяются те же 
самые формулы для чистых и смешанных коэффициентов. Количество 
точек в П-АКП составляет: 

п(п-П _ 





М =1+21+С2 =1+2п+ 


ши › 
следовательно, он минимален для модели (478). 

Движение к экстремуму осуществляется по директивному вектору: 
р= (-6) .5’. (480) 
Его компоненты имеют те же самые размерности, что и компоненты х. 
Поэтому при изменении масштабов х, они преобразуются ковариантно. 

Если матрица Гессе С на области данного плана плохо обусловлена 
(т.е.4е С = 0),то для однозначности и устойчивости результатов поиска 
целесообразно использовать метод регуляризации Тихонова ($ 5.10). 
Как параметр квадратичной регуляризации, например, можно выбрать 
0, = тах{ 5; / Ах; } —> 0. Тогда в итоге имеем устойчивую оценку: 


ра = - (б+ат)`.='. (481) 


Глава 7. Планово-экспериментальная п-мерная 
оптимизация по ортогональным планам 


$ 7.1. Общие положения 


В этой главе рассматриваются основные аспекты и методы планово- 
экспериментальной п-мерной оптимизации целевой функции У(Х), чей 
аналитический вид априори неизвестен. В литературе она называется 
функцией отклика [46, 47]. Фактически это кибернетическое понятие: 


Хх > 


№ Чёрный Ре 
Оч ящик > УС, хь, ..., Хи) 
Хи 
—____> 


Вся процедура оптимизации традиционно называется планированием 
эксперимента. В ней по неким изначальным логическим соображениям 
предполагается, что целевая функция у зависит от этих переменных, но 
степень функционального влияния последних, в том числе совместно, 
на фоне общей погрешности для у нужно ещё выявить. Что особо важно: 
отдельные оценки значения целевой функции отклика У(х) при каждом 
задаваемом наборе точных значений переменных ха = (Хр Х», ...5 Хы) 
всегда возможно найти экспериментально, но с некоторой случайной 
ошибкой (у, — у.). В идеале её математическое ожидание нулевое: 
НУ — Уз} =0, или {У} = Уч. Поэтому х —> У(х) есть однозначное 
отображение, но х —> У(Х) есть не вполне однозначное отображение. 

В планово-экспериментальной оптимизации особое значение имеет 
экономическая составляющая общей процедуры, так как выполнение 
опытов или наблюдений является финансово затратным мероприятием. 
Отсюда имеется стремление свести их общее количество к минимуму! 
Фактически это означает стремление минимизировать как число точек 
в планах эксперимента, так и общее количество побочных движений 
к экстремуму по директивным векторам (см. $8 5.8— 5.10). Эти приёмы 
минимизации всех затрат в условиях производства или весьма дорогих 
научных исследований относятся к сфере математической экономики. 
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Для дальнейших необходимых статистических оценок принимают, 
что случайная величина [У(х) — У(х)| имеет центральное однородное 
нормальное распределение Гаусса; т. е. и{у - у} =0, с{у} = соп8. 
(Параметры однородного распределения не зависят от Ха.) График для 
функции плотности вероятности при нормальном распределении (У-у) 
известен как кривая ошибок. График кривой имеет характерную форму 
колокола [15, т.1]. Это центральное распределение широко применяется 
в статистических методах, в частности, в планировании эксперимента. 

Исходя из априорной неизвестности аналитического вида целевой 
функции типа У(х) в планово-экспериментальных методах оптимизации 
используют ряд еб аппроксимирующих разностных моделей (см. гл. 6), 
как правило, 2-го порядка (неполного и полного). Эту модель находят на 
области в <" по очередному плану эксперимента с центром в точке ©, 
причём с привлечением множественной линейной регрессии (п > 1). 
Координатное аффинное пространство при какой-либо геометрической 
необходимости вводом евклидовой метрики трансформируется в <> 1. 

Ввиду аппроксимации целевой функции разностно-регрессионным 
полиномом 2-го порядка, в её статистической модели содержится как 
систематическая, так и случайная ошибка. В свою очередь, еб ошибка 
округления как бы входит незначительной составляющей в случайную 
ошибку (когда само это округление выполняют, с учётом принятого 
правила Гаусса). Из модели вычисляют соответствующий директивный 
вектор. По приближённому К-му директивному вектору из центральной 
точки плана ©, осуществляют движение к промежуточному экстремуму 
той же функции отклика в точке ©, |. Затем всю процедуру повторяют 
вплоть до соблюдения в какой-то точке $” неравенства типа (449). Её 
принимают за точку стационарности У(х). В точке стационарности $° 
вычисляют полную регрессионную оценку матрицы Гессе, по которой 
и судят о характере экстремума или в итоге подтверждают его. Заодно 
с применением этой оценки матрицы Гессе выполняется аппроксимация 
2-го порядка целевой функции У(Х) в окрестности точки экстремума $5". 
В общих чертах это было продемонстрировано на моделях 1-го и 2-го 
порядка в $$ 6.2 — 6.4. Поскольку используемые модели содержат 
неустранимые ошибки 2-х видов в сравнении с априори точной целевой 
функцией, то они должны проверяться каждый раз на адекватность по 
отношению к функции отклика на области плана эксперимента. 

Все допускаемые статистические гипотезы, в принципе, проверяемы 
спринимаемым уровнем доверительной вероятности с использованием 
стандартных статистических критериев и/или с ограничением сверху 
уровня допустимых относительных ошибок. 
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Ввиду того что в этой главе для разнообразных оценок довольно 
широко применяются методы теории вероятностей и математической 
статистики [29, 44], то необходимо кратко рассмотреть ряд исходных 
базовых понятий, но применительно к оценкам функции отклика У(Х). 
Эти понятия определяются или в какой-то конкретной точке х а йли на 
множестве точек ‹х„›, например, на области плана эксперимента. 

1. Математическое ожидание. (Момент 1-го порядка.) 


№ Уа} =Уз №{Уа-Уа} =0, где уа = УСка), Уа= У (ха). 


Здесь и далее принимается, что все частные значения ха задаются точно. 
(Нужная точность обеспечивается при выполнении экспериментов.) 
Полезные свойства: 

а) математическое ожидание алгебраической суммы случайных величин 
равно той же алгебраической сумме их математических ожиданий; 

6) математическое ожидание произведения неслучайной величины на 
случайную величину равно произведению неслучайной величины на 
математическое ожидание случайной величины. 


2. Выборочное среднее. 
у. = —. р 2 где Уз: — статистически независимые значения 


функции У в точке Х.. По сути, эта характеристика есть среднее 
арифметическое для ментов независимой выборки а; > порядка т, 


где ] = 1, т. Очевидно: и {у а =. 


3. Дисперсия случайной величины. (Момент 2-го порядка.) 
белу, вы... 
с} = <°,-,} =. -щ8.}] .[5. -у.} = 


2 


Те. 1 
=И —. >, 9. :-У, =. | >6ы-50 = 





т и п? 
ты бы, +=, - У а у.) = 
Е [т-0* {5} +0]=0*{5.}/т= б *{5. —У. И та т. (482) 
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4. Выборочная смещённая дисперсия. 
212 1 м /- ее ы = 2 2 я 
5* Пе = (5, -9. Уч 4 * (483) 
1=1 


Её математическое ожидание составляет 


| 
в |- 
= 
г т 
— 
< 
= 
| 
< 
2 
— 
| 
их 
в |- 
и Е 
< 
г 
| 
< 
5 
|НННН 
Ге 
| 





+> (5. У ) 2 и. 5 о — 


1=1 {=1 1=1 


[о (9 2-ой о" {9}-0]= 


—1 5 Е = 2 ы 
кт" (9} в (5. -8.) }=<' {5,9} <9'49}. 689 
5. Выборочная несмещённая дисперсия. 
т Г хх. 
52 {5} =>. (5, -9.) (485) 
шо - 


{52 {9} = 5% {5} 0" {5}. (486) 
ш-1 

В свою очередь, характеристики с {У} илиз{5} обычно определяются 
как среднее квадратичное отклонение, т. е. истинное или выборочное. 
Первое из них, в сущности, абстрактное. Второе из них весьма широко 
применяется для оценки вероятных интервалов случайной величины. 

Выше в пунктах 3 и 4 встречается ряд математических ожиданий 
для произведений двух центрированных случайных величин. Подобная 
характеристика определяется как ковариация этих случайных величин. 
Поскольку центрированные величины функционально независимы, а 
их ошибки тут статистически независимы, то их ковариация нулевая. 
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6. Ковариация случайной величины и её выборочного среднего. 


У, Я} =н (у, -у,)-(5, -5, } = 
6, у.) Е Я: ‚| Ыб.) >. в, з.)- 
(6. у.) | ый УУш=о. $5. -У. =о” {5.}. (487) 


7. Математическое ожидание суммы выборочных ковариаций. 


„155 „бь- 9): 5 


1=1 


ш 


->.>. 6-5.) -9.=0. (88) 


ЕТ РЕ 
8. Абсолютная ошибка. (Абсолютный момент 1-го порядка.) 


547} = в — уз || см. также далее $ 7.3. 


- и абсолютная = 


а у = 


Для нормального закона распределения плотности вероятности Гаусса 








(489) 





У У4[ 











9,1 


её математическое ожидание есть величина, независящая от 11, 


и{а{7} =519} = /2/ 1-45} <<{5}, (490) 


математическое ожидание выборочной смещённой абсолютной ошибки 


в 5.}-*| 1-5} ве 


У У Уч: У 
9. Математическое ожидание разности и дисперсия алгебраической 
суммы двух тождественно распределённых случайных величин. 


(9 = НУ} = Уа- Уч =0, (491) 
(буде, {6.5.7} + 
+ (би -У}2 [9)-у.)-9,-у]  =29° {5,} (492) 


5{(5.1=9.,}} = \2-0{5.}. (493) 
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В регрессионном анализе, как правило, аналитический вид целевых 
функций неизвестен, — как и в планировании эксперимента вообще. 
Поэтому прибегают к их полиномиальным разностным моделям (гл. 6). 

Выполнить же статистическую оценку точности полиномиальной 
модели функции отклика в случае нескольких исходных переменных Хх; 
можно весьма корректно, используя полифакторный (множественный) 
регрессионный анализ. Этот анализ базируется на нормальном законе 
распределения случайной ошибки опыта (У-—У) при экспериментальном 
нахождении отдельных значений целевой функции путём измерений 
или наблюдений. Это существенно расширило те возможности, которые 
ранее были заложены в базовом методе наименьших квадратов [15]. 

Основоположником регрессионного анализа является К. Пирсон. 
Он внёс значительный вклад в становление, развитие и практическое 
применение этого важного раздела математической статистики. Ему же 
принадлежит и термин нормальное распределение. В частности, именно 
благодаря полифакторному регрессионному анализу стало возможным 
осуществлять достаточно надёжную аппроксимацию целевых функций 
отклика линейными регрессионными моделями, проверять с заданной 
доверительной вероятностью ряд попутных статистических гипотез, 
атакже выявлять значимые и незначимые коэффициенты регрессионной 
модели. В полифакторном регрессионном анализе используют сложные 
линейные разностные модели априори неизвестной целевой функции 
у = У(Х) и аналогичные им линейные регрессионные модели функции 
отклика У = У(х) 2-х тождественных друг другу видов Е (и) = Е, (У): 





У)=В() = Ш | и Ь = 6 5 Ь'-и = № + Ь.: м1 + Ь>- ВЫ, Бе: Мк, (494) 








у(х) = Б (у) = ВУ =у"-В = 61+: и1 + 6>- 2+... + к: Чак. (495 
У 


1-я модель — традиционная и аналогична по структуре простой модели, 
которая применяется в методе наименьших квадратов непосредственно 
к линейной или линеаризованной целевой функции у = У(Х) (см. $ 4.7); 
2-я модель — полнолинейная. Последняя пригодна для оценок сразу 
всех еб коэффициентов и их дисперсионных характеристик. 

В принципе, обе данные модели применяются для оценок методом 
регрессионного анализа всех своих коэффициентов — либо В и Ъ, либо 
в целом В. Но при этом размерность самого матричного уравнения, из 
которого в итоге вычисляются векторные коэффициенты, в первом 
случае значительно меньше, чем во втором, что существенно (см. далее). 
Поэтому в таком аспекте линейная модель (494) предпочтительней. 
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Так, для разностной модели целевой функции У(Х) 2-го порядка при 
П=З3 (см. $ 6.5) имеем количество частных переменных факторов К = 9, 
а количество коэффициентов регрессии К + 1 = 10 (т. е. по максимуму): 


2 


У(®) = У = У(®) = В +8, -х, +8, -х, +8. Хх. +В Хх Ев" + 
+ -Ё., ху +2 `` х, +В. хх, +В: -х, Хх, = Ри) = Р, (У) ы 

= +Ь, м, +Ъ, -и, +Б, а, +Б, м, +Б, и; +6,“ +Ъ. -м. +, м, +Ъ, - Ч. = 

=Ь, и, +Б, м, +6, и, +ЪБ, и, +Ъ, м, +. и; +Ь, и, +Б, и. +, -и, +Ъ. - 5, 

о = ВиО = 3Ъ, = Ви, =Х, 3. = би. а, ЗВ =Вз› що =х, -Х.. 

Причём традиционно при линейной регрессии и и Ь суть Кх1-вектор- 

столбцы, ау и В суть (К-+1)х1-вектор-столбцы. Например, имеем: 


























ь о 1 | 
и Хх | 
и Хх 1 
и, Хх, 2 ь 
и, х, 2 
и = и |=|х, | 6=| Ы |. У= = ‚в = 
и, Х, Ь, 
Ч хх, Ва Ь 
Чан хх, +1 
2 
Чк Хи р 2 | 
Ик Ха к 


В случае исходной разностной модели 1-го порядка отсюда исчезают 
все смешанные произведения и квадраты переменных (К = п = 3); 
в случае исходной разностной модели неполного 2-го порядка отсюда 
исчезают все смешанные произведения переменных (К = 2п = 6). 
Тогда реальной целевой функции у = У(х) отвечают соответственно 


модели линейной регрессии У и У\У также 2-х видов: 
У) = Е (и) = +ш’. 6 =, +6 - и, +В, и, +...+ 6х их, (496) 


у(х) $, (У) В'.УЕУ’.В Ь, -1+ 6, -щ +Б, и, +...+ 6х -их. (497) 








Тут | Би — коэффициенты 1-й и 2-й модели линейной регрессии. 
Обе модели тождественны при централизованной регрессии, т.е. Б\= 0. 
и = (и 9, ..., ик)’— КХ1-радиус-вектор в факторном пространстве фк; 


1 


у= — (К+1)х1-радиус-вектор в факторном пространстве фк" | 
и 
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Рассмотрим вначале линейную регрессию Уи, базирующуюся на 
традиционных моделях типа (494), (496), используемых в классическом 
методе наименьших квадратов Гаусса (п > 1). Поэтому здесь возможно 
применять результаты, полученные ранее по этому методу в $ 4.7 для 
линейной целевой функции у от векторного переменного х (410)-(412). 
Например, аналогом (415), (416) является система из 2-х усреднённых 
уравнений с двумя неизвестными Би [о 


у=и'.Б+Б,, (498) 








у-и=и. 6, +и-м’.Б. (499) 


ыразив из первого авнения и подставив это значение во второе 
в Б, 
уравнение, получаем уравнение относительно Ь: 


М-1 М-1 М-1 . М-1 М- М-1 
' ' р р 5 
№. Учи. Уи Уи Ю-М > у ‚-Уу Уч Ч. 
9—0 4—0 а—0 а= 0 950 


В кратчайшей матрично-векторной форме записи оно имеет вид: 
$. Б=У. 


Отсюда вычисляется коэффициент Ь: 


№-1 М-1 М1 ы №-1 №1 1 
т ь ты = 
м. щи, -У щи, | м. > уи, - У Уи, (500) 
9=0 9=0 9=0 9=0 9=0 — 9=0 - 


После этого из (498) вычисляется коэффициент Ь.: 
В, =У—м'.Б. (501) 


Для однозначности Би | необходимо, чтобы выполнялось 461 $ + 0, 
что достигается выбором плана расположения точек и ав Ф № 
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Формулы (500) и (501) значительно упрощаются для специальных 
центрированных планов расположения точек и, с значением и/ = 0: 


М-1 
и =0=и -> 
а=0 





. ик . = 
> =, Б= Уши" -| У Ум. = аи} Уи. (502) 
— 


В планировании эксперимента, в силу нормированности планов, имеем: 
либо и, = 0, либо центральная точка в основном расчёте не принимается 
во внимание. (Общее количество точек в плане по-прежнему равно М.) 
Выбор именно центрированных планов эксперимента, согласно (502), 
существенным образом упрощает расчёты. Центрированность плана 
обеспечивается симметричностью расположения точек относительно 
начала координат. 

Ещё один важный вариант, а именно централизованная линейная 
регрессия, возникает тогда, когда в функциях и в моделях (494), (495) 
заведомо точно известно, что 6. = 0. Тогда здесь возможно применить 
аналогию с централизованным методом наименьших квадратов ($ 4.7), 


с учётом того, что и = (и |, о, ..., Мк), ь = (6, Ь,, а Ь,). При этом 

уравнение (498) принимает вид: 

№ | м м т 

у=ш’.Ь <> уу. =У и," -Б. (503) 
а=0 а=0 


Очевидно, это уравнение даёт однозначное решение только при К < 2. 
Но поскольку при множественной регрессии К. >> 1, то однозначное 
решение получается из (499) при | = 0. В данном случае решается 
система линейных нормальных уравнений Гаусса, но теперь уже 
в варианте полифакторной линейной регрессии: 

—1 


9=0 9=0 9—0 9—0 


Причём решение(502) отличает от (504) лишь коэффициент | 

Разумеется, матрица системы 5 (в фигурных скобках) при любых 
центрированных планах и при централизованной регрессии не может 
быть плохо обусловленной или вырожденной. Искусственным путём 
последний вариант можно получить преобразованием вида: 


у= Ки) — \(и) = Ки - Ш =и*.Ь у = (и) > (и) =У(и) - У(0) = и”. 
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Далее рассмотрим наиболее общий подход к линейной регрессии, 
а именно линейную регрессию У|У, базирующуюся на полнолинейных 
моделях типа (495), (497). Все скалярные переменные и, по-прежнему 
определяются как р-ые частные факторы (но при этом и\ = 1 = с0п$0). 
Поэтому (К-+1Т)х1-векторные переменные У суть точки расширенного 
факторного пространства ФК*!. Конкретная 4-я точка обозначается 


как Уч. Количество точек в плане равно М. Причём имеем: 


1 1 
У, = = (а=0). (505) 
и, 0 


Это обусловлено тем, что планы эксперимента всегда централизованы. 
Обратим здесь особое внимание на то, что любые планы размещения 
точек х, как аргумента целевой функции У(х) реализуются конкретно 
в исходном аффинном координатном пространстве < #1, но однозначно 
ими определяемые точки У, = У(ха) реализуются абстрактно в более 
высокоразмерном факторном аффинном пространстве ФК*Т. Именно 
над пространством ФК*! при данной линейной регрессии применяется, 
как базовый, метод наименьших квадратов ($ 4.7), а затем выполняются 
основанные здесь на законе центрального нормального распределения 
ошибки опыта (у -— у) необходимые статистические оценки. Разумеется, 
при этом полное отображение аффинного пространства < в более 
высокоразмерное аффинное пространство ФК*! заполняет его только 
частично. Поэтому метод наименьших квадратов работает над ФК"! 
шире, нежели над «#1. Но, с другой стороны, это оправдано, поскольку 
факторы Ц в сво ей совокупности обладают большей степенью свободы, 
нежели исходные аргументы х, функции У(х). Подобное явление имело 
место и выше, так как при аппроксимации коэффициентов ВБ} и Ъ, 
по сути, применялся метод наименьших квадратов над тем же фК*!. 

Пусть по некоторому плану эксперимента в <" получена выборка 
из парных значений аргумента и целевой функции отклика ‹х Ч у а» Где 
Ч пробегает последовательно значения от 0 до М- 1. Соответственно 
значения аргумента были заданы точно, а значения функции получены 
со случайной ошибкой опыта (у — У), имеющей плотность вероятности, 
согласно закону центрального нормального распределения. 
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Затем трансформируем исходную выборку с ха В тождественную ей 
выборку су. ›т. е. <Х., уд “У У 9=0,№М-1. Множество значений 
функции отклика У составляет Мх1-вектор У = (Уз, У1, У, -.., Ума), 
или вектор-столбец из отдельных значений а Этот вектор является 
элементом некоторого функционального евклидова пространства ‹<№. 
(Его евклидова метрика обусловлена здесь тем, что в качестве целевого 
параметра применяется сумма квадратов разностей координат, т. е. 
согласно базовому методу наименьших квадратов.) В свою очередь, 
множество значений радиус-векторов У.’ в факторном пространстве 
составляет №х(К+1)-матрицу У = {Ур Ур У» ---› Уи где М>К+1. 
Эта прямоугольная матрица есть характеристика, определяемая только 
исходным расположением точек х, в плане эксперимента в сп. Она, 
т. е. У, традиционно определяется как матрица планирования. 

С учётом (497) и этих понятий, уравнения для минимизации суммы 
квадратов отклонений о —У .) в © типа (413), (414) принимают 
весьма упрощённый и в итоге чисто алгебраический вид: 


у=ч(в) = (у-у)'-(у-у) =(у-У.в)'.(у-У.в) = ши, (506) 
—.—-=\'.у-У'.У.В=0. (507) 


Множество точек х а Должно быть таково, чтобы (К+1)х(К-+1)-матрица 
внутренней гомомульгипликации \”-У не была плохо обусловленной 
(Ч4её У’-У = 0) или вырожденной (4е1 \У’-У = 0). Естественно, что для 
центрированных планов это выполняется. Поэтому из полученного 
линейного уравнения (507) в итоге имеем обязательно однозначное 
решение для (К+1)х1-вектора коэффициентов линейной регрессии: 


в- (У’-У)'.\.-у=УГ у, (508) 


где У› ' однозначная левая обратная (К+1)хМ-матрица для У, так 
—1 

как УГ -У = кк) 

квазиобратной матрицы Мура — Пенроуза У" = М ($ 2.1). Поэтому 


=— 


У. М 1=У.У* =УУ' — есть симметричный №М№-ортопроектор, 


. Но при умножении справа она же играет роль 


проецирующий в функциональном пространстве < на образ ‹ии У» 
параллельно ядру <Кег У», т. е. попросту ортогонально ‹ип \›. 
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Этот ортопроектор в функциональном пространстве < в полной 
> 


сумме дополняется другим симметричным №хМ-ортопроектором \УУ", 


проецирующим на ядро <Кег У’ параллельно образу ‹пп У› — попросту 
— > 
ортогонально «Кег У». Откуда имеем: УУ\У'+ УУ' =Г„. Такого рода 


проекторы подробным образом рассматривались ранее в гл. 2. 

С их явной помощью, а также с применением вышеуказанной левой 
обратной матрицы, можно весьма наглядно, т. е. чисто геометрическим 
путём, в целом интерпретировать как линейную регрессию, так и сам 
базовый метод наименьших квадратов. Геометрическая интерпретация, 
в принципе, вполне аналогична той, которая дабтся для однозначного 
квазирешения и минимодульной невязки несовместного линейного 
алгебраического уравнения (см. $ 4.5), но с конкретизацией к объектам 
рассматриваемой общей задачи. В качестве несовместного линейного 


уравнения здесь фигурирует выражение: 


У. в-Уу. (509) 
мх (к +1 (К+0хЕ  мМх! 
При этом имеем: 


гапе У = гапё У’ = гапз{У-\У'} = гапз{У'.У} = К+1. 510) 
8 8 5 8 ( 


Отсюда <Кег \У›= 0. и. из формулы (508) с использованием левой 
квазиобратной матрицы У" вычисляется однозначное квазирешение В. 


Вектор невязки ($ 4.5) этого линейного уравнения имеет вид: 





5(В)=У.В-у=Уу-У. (511) 


Именно при квазирешении (508) обеспечивается минимум евклидовой 
нормы вектора невязки 6 (В) уравнения (509), а геометрически в < М— 
ортогональность вектора невязки б (В) =У —у и < У, т. е. всем М 


векторам-строкам У в матрице планирования У: 


б=-\\-у. (512) 


Мх1 Мхм М№х! 
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В результате можно сделать главный геометрический вывод, что 
найденные выше в результате этого линейного регрессионного анализа 
коэффициенты полнолинейной модели (497) обеспечивают минимум 
суммы квадратов отклонений (5. — р ) взятых по М субосям Уав <. 
Аналогичное было показано ранее в $ 4.7 в простейшем одномерном 
варианте метода наименьших квадратов. Подставив в (506) найденный 
вектор коэффициентов модели, получаем выражение для минимальной 
суммы квадратов отклонений опытных от регрессионных значений 
функции отклика, в том числе через вектор минимодульной невязки: 


<— — > > р. = 
ан=|| УУ || ГУУ =|УУУ || У\У |=; МУ5. (513) 


Итак, внешняя гомомультипликация матрицы планирования {\.\'} 
есть сингулярная симметричная №хМ№-матрица, так как здесь М > К+1, 
где К — количество переменных факторов Ц »а К- | — общее количество 
коэффициентов в модели регрессии типа (497). Именно благодаря этому 
факту существуют характеристические ортопроекторы, выполняющие 
необходимое ортопроецирование в функциональном пространстве <. 

В случае централизованной линейной регрессии, когда в функциях 
ивих моделях (494)—(497) заведомо известно, что а) = 9% = 0, очевидно, 
(К+Г)х1-радиус-векторы У. заменяются на Кх!-радиус-векторы и Ф 
ав уравнениях (506)-(513)) соответственно заменяют Мх(К + 1)-матрицу 
планирования У = {У(, У, У,, ..., Уца}’ ранга К + 1 на МхК-матрицу 
планирования О = м, и,, ..., Му ‚}’ ранга Ки (К+1)х1-вектор- 
коэффициент И заменяют на Кх1-вектор-коэффициент Ъ. 

Например, из (508) следует решение для модели (496) в форме: 


0'.0.6=0'.у > 5=(0'.0). 9 -у=0Гу. (514) 
Эта система и система линейных нормальных уравнений Гаусса (504) 


для централизованной полифакторной линейной регрессии типа У|“, 
тождественны друг другу, так как действуют формулы соответствия: 


М-1 М-1 
| О=У ща. '; у У, > 
4=0 9=0 
Е В = Им 
> 5=(0’.0) -0’-у=У шар | Уи, | (515) 
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В любом из этих 2-х вариантов регрессии (нецентрализованной и 
централизованной) внутренняя гомомультипликация \!/ = У!" = У’У 
или \М = \' = ЦТ] традиционно определяется как информационная 
матрица для заданного плана эксперимента (матрицы планирования). 
Если столбцы матрицы У или Ч попарно ортогональны друг другу, 
то она в целом ортогональная по столбцам. Для неё \\ = РО есть 
диагональная информационная матрица размера (К+1)х(К+1) или КХК. 
Такая матрица легко обращается, например, в формулах (508) и (514). 
Именно в этом и состоит главное преимущество связанных с такими 
ортогональными матрицами планов экспериментов. 

Информационная матрица \\ = У’У имеет блочную структуру 


мМ-1 
1 
№ 2% 
4=0 
й — мМ-1 мМ-1 Оо 
! 
Уз УчУч 
а=0 а=0 
1х1 1хк 
размера 
Кх| Кхк 


Подставив блок (516) в решение (508), получаем те же формулы (500) 
и (501) для коэффициентов регрессионной модели (496), что говорит 
о тождественности двух изложенных подходов к линейной регрессии. 
Информационная матрица \/ = О’О также после подстановки блочной 
формы в решение (508) даёт (504). 

Однако есть принципиальные различия в применении обеих форм 
решений — традиционной и общелинейной. Например, нетрудно видеть 
значительную разницу здесь в размерах рабочих матриц в формулах, 
выражающих искомые векторные коэффициенты регрессии. В первом 
варианте их размер меньше. Однако во втором варианте существенное 
упрощение именно вычисления векторного коэффициента регрессии 
в целом и его скалярных компонентов по отдельности обеспечивают 
вышеуказанные специальные ортогональные матрицы планирования 
У или Ц (попарно ортогональные по столбцам). Таким образом, выбор 
формы решения из этих двух зависит от конкретных обстоятельств. 

В свою очередь, матрица \/', фигурирующая в формулах (508) и 
(514), формирует, с учётом 02, ковариационную матрицу: 


$=\ "0 {7} =5'. (517) 
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Формально она возникает при вычислении матричной дисперсии 
регрессионного коэффициента В в (508) или в (514). Например: 


н{(6-в)-(6-в) 3 = в (У) му) (ууу ху) = 
= (У'\)". №. {(-уУ)-(у-у).У.(\МУ) = 

= (У"У) "№. 1-07" {5} |-У-(\У)" = 

= (У) а 


Здесь используется также тот факт, что из формулы (508) следует: 

и ’ в ' — = 
ив} = (У’У) У -у=УГ у. 

Матрица 5, согласно плану, обуславливает плановые дисперсии и 
ковариации для ошибок скалярных коэффициентов линейной регрессии 
95° {6} = -” {5}, УВ, р =8 во т = В, не (518) 


Плановые коэффициенты линейной а для ошибок Ь. и .; 
АВЕ АБВ, АБ, 5 И (519) 


Кроме того, для ортогональных матриц планирования или планов 
В факторном пространстве должны иметь место простые соотношения: 


\М=\У\У=рЬ, М'=Ю" -> $=50' {у} .07. (520) 


Тогда, в силу (519), коэффициенты модели У(х), отвечающие плану \, 
вычисляются с ошибками, статистически независимыми друг от друга. 
В отличие от выборочного коэффициента корреляции (404) из $ 4.7 
коэффициенты (519) являются математически ожидаемыми понятиями. 
Они зависят только от матрицы планирования (где элементы точные) 
и определяют степень линейной связи ошибок от коэффициентов | 
в разностной модели У = У(х). Для аналитических целевых функций 
коэффициенты их разностных степенных моделей 2-го порядка всегда 
как-то смешаны с коэффициентами высших порядков, в зависимости 
отразностной схемы оценки с прямоугольной матрицей плана. Несмотря 
на неравенство коэффициентов модели своим истинным прототипам 
в степенном разложении функции у = У(Х) разностные методы неплохо 
работают при численной оптимизации, что фактически используется 
в планировании эксперимента и в планово-вычислительных методах. 
Метод наименьших квадратов и поэтому нормальная регрессия 
на его основе инвариантны к линейным, в том числе к масштабным 
преобразованиям координат базиса. Инвариантность следует, например, 
из формул (500) и (501) для к типа (494). При и = ы _,2) 2 имеем 
преобразования: В, = у' е о. Би, 6) =: а а. \и 
ковариационная $ матрицы бя также ковариантно. 
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8 7.3. Планирование эксперимента при оптимизации 
целевой функции отклика и дискуссионные вопросы 


Оптимизация целевых функций отклика от нескольких скалярных 
переменных У = У(х) = У(х,, х,, ..., Х,) с привлечением результатов 
экспериментальной части и полифакторного регрессионного анализа 
составляет ныне важный практически раздел в общей теории решений 
экстремальных задач. Традиционно этот раздел называют в специальной 
литературе иланированием эксперимента [см., например, 15, 43, 46, 47]. 
Исторически первую работу в этой области опубликовал Жозеф Жергонн 
(1815 г.) — известный геометр и автор принципа двойственности [64]. 

В новейшее время это направление развивается с середины ХХ века. 
Пионерская публикация (1951г.) принадлежит Дж. Боксу и К. Уилсону 
[54]. В ней, в частности, сразу были предложены весьма эффективные 
композиционные планы (п-ЦКП) для экспериментальной оптимизации 
с моделью функции отклика 2-го порядка. Кроме того, именно Дж. Бокс 
впервые рассмотрел применение и особенности процесса планирования 
эксперимента на промышленных объектах в сфере производства [55]. 

Однако планирование эксперимента в своём нынешнем виде пока не 
характеризуется в целом надлежащей математической строгостью. Так, 
в частности, в нём при оценке адекватности модели регрессии весьма 
некорректно применятся критерий Фишера — Снедекора, игнорируется 
соотношение случайной и систематической ошибок и влияние на него 
интервалов варьирования факторов. Но что более всего удивительно: 
не придаётся особого значения различию размерностей переменных и, 
вместе с тем, используется ряд неких критериев оптимальности планов, 
имеющих какой-либо смысл лишь для евклидовой метрики факторного 
пространства. Подобные противоречия в нынешнем содержании теории 
планирования эксперимента вызывают до сих пор широко известное 
недоверие к нему со стороны высокопрофессиональных математиков. 
Поэтому в последующих параграфах главы параллельно с изложением 
материала, по возможности, устраняются имеющиеся противоречия. 

Рассмотрение начнём с того, что во всех статистических процедурах 
планирования эксперимента (как главная гипотеза) априори заложено то, 
что ошибка нахождения целевой функцииг = У(х)- у(х) подчиняется 
закону нормального распределения с параметрами: (г) = 0, 6?(г) = 02. 
Традиция, по сути, идёт от общепринятой процедуры статистической 
обработки экспериментальных данных. Поскольку сама оптимизация 
целевой функции отклика— это многошаговый процесс, требующий на 
каждом новом шаге повтора статистических оценок, то целесообразно 
всё же как-то проверять, надёжна ли вообще эта главная гипотеза. 
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Хорошо известно, что закон распределения конкретной случайной 
величины исходя лишь из её конечной выборки абсолютно достоверно 
установить нельзя. Но для ошибок измерений, имеющих в комплексе 
совершенно случайный характер, на практике априори принимают 
закон центрального нормального распределения Гаусса [29]: 


1 2 2 
р(@г) = ———=‘ехр(-—г’/2о0’], —© <г< +0, (521) 
с.\2л ) 
где г = (у — у) — случайная ошибка, р(г) — плотность распределения её 


вероятности, 0? — дисперсия нормального распределения. График этой 


функции имеет характерную форму колокола и в литературе называется 
+0 


кривой ошибок. Площадь под ней, очевидно, единичная: [26 Ч =1. 


—© 


Из данного нормирующего условия теоретически следует коэффициент 
в (521). В зависимости от величины © кривая ошибок растягивается или 
сжимается в сравнении со стандартным нормальным распределением: 


р") В = ее (-* /2) = р(и), (522) 
ея 2) | я аи 


где и = г/б — нормированная случайная ошибка. 








Вероятность того, что ошибка Г по величине не выходит за значение 
А>0 (т<А), даёт функция вероятности Лапласа 1-го рода 


х ] А/© Е 2 р 1 Д/с ы 
Ф _ = = 4 г ты /2) Ча. (523) 


Вероятность того, что ошибка Г по абсолютной величине не выходит за 





значение Д > 0 (|| < А), даёт функция вероятности Лапласа 2-го рода 


д 2 8 | а 2 
Ф, -— ===. [оф 37) {|-> [еф(ы1 /2) аа. (524) 
с/ \2м о 2\5 о/ 2 о 
Интегралы (498) и (499) не выражаются в элементарных функциях, 
но при этом, как и функция (497), представлены достаточно точно и 
широко в табулированных формах. Имеют место очевидные формулы 
их связи, ввиду симметрии функции плотности вероятности р = р(а): 


Ф/(и)=-:[Ф, (4) +1] Ф, (а) = -Ф, (-и) =2Ф, (и) -1. (525, 526) 


1 
2 
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Особо отметим, что закон нормального распределения Гаусса (521) 
является предельной научной абстракцией. Это хорошо видно хотя бы 
из факта неограниченности величины г. На самом же деле случайные 
ошибки опыта практически всегда ограничены каким-либо физическим 
образом. Но именно данный закон является главной теоретической 
основой для всех применяемых стандартных статистических процедур 
обработки опытных результатов измерений и наблюдений, когда общие 
случайные ошибки вызваны большой совокупностью причин, чей вклад 
по отдельности весьма мал. Строгое теоретическое объяснение этому 
факту придала центральная предельная теорема Ляпунова (1900 г.). 
А именно, в этой теореме сформулировано достаточное условие, при 
котором сумма малых случайных отклонений с ростом их количества 
имеет в итоге асимптотически нормальное распределение. Достаточным 
оказалось то, чтобы в этой сумме частные отклонения не доминировали 
над всеми остальными случайными отклонениями [31]. 

Чисто математически закон нормального распределения может быть 
строго выведен, например, из естественного требования, что наиболее 
вероятное значение величины, для которой имеется выборка отдельных 
случайных значений, есть их среднее арифметическое. Далее применяют 
основанные на этом законе методы математической статистики [44]. 

Пусть в некоторой, например, начальной точке х е с (т. е. при 
точных значениях частных переменных Х/,Х.,...,Х„) экспериментально 
получена выборка отдельных значений целевой функции отклика ‹у? 


объёма т, где | =. т. 

Для каждого закона распределения есть основные количественные 
параметры — моменты различных порядков. Например, для функции 
типа (521) — это начальные и, вместе с тем, центральные моменты 
(относительно начала координат и, вместе с тем, центра распределения). 
Закон нормального распределения однозначно характеризуется только 
моментами 1-го и 2-го порядка. 


+©® 


ие} =и{у-у} = [т-р@)аг=0 (527) 


—с 


— математическое ожидание для г, или относительный момент 1-го 
порядка. Его выборочная оценка вообще есть среднее арифметическое. 
Но тут — для централизованной величины с и = 0 она совпадает 
с моментом, так как | — у) = 0. В общем же случае для У выборочная 


оценка есть среднее арифметическое у, но при этом ис) = у) =У. 
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+500 +00 

иг} =н{|5-у]} = [| рода 2 | г.р) Чг=\/2/л-6=щ (528) 
—с0 0 


— математическое ожидание для |!|, или абсолютный момент 1-го 
порядка. Его выборочная оценка, согласно формулам (489), (490), есть 
несмещённое абсолютизированное выборочное среднее: 




















ао ыы Вы 
(4{40} = 545} = У2/т-в{5} <0{5} 
в {г} =в[(9-у)'} = | г’. р) 4г = | г.р) =” (529) 


— математическое ожидание для г2, или момент 2-го порядка, или 
дисперсия. Её выборочная оценка, согласно формулам (485), (486), есть 
несмещённая выборочная дисперсия: 


ыы 


Математические ожидания для 4 есть б =^/2/п-с, для $? есть 02, 
т. е. они взаимосвязаны. Следовательно, с возрастанием т параметры 
и $ в случае нормального распределения У должны стремиться точно 
к такой же взаимосвязи. Отсюда вытекает предельная формула: 


(530) 


(Данная формула может подвергаться экспериментальной проверке при 
больших объёмах выборки и выполнении условия случайности!) 

С алгебраической точки зрения, отношение 42/5? ограничивается 
сверху неравенством для средних положительных величин ($ 4.1) как 


42/5? < 1 «> 4/5 < 1 <> 4 <$5. (531) 
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Согласно этому алгебраическому подходу, отношение 4/5 есть индекс 
равномерности абсолютных отклонений У от У. Однако, согласно 
статистическому подходу, отношение 4/5 есть индекс нормальности 
отклонений У от у, а, следовательно, и нормальности распределения 
случайной величины у. Причём он работает тем лучше, чем больше т: 


92/52 —> 2/п = 0,637 (т 5), (532) 


9/5 2 /л = 0,798. 
Теоретической основой для этого является вышеуказанная взаимосвязь 


их математических ожиданий © = \/2/ т - 0, или 


У 2 
о 2 
ы } (5) <> 5" = о? <> 957 /в? =2/д. 
2 \2 п (533) 


Геометрически 1-я квадратурная формула означает, что площадь круга 





радиуса 6/2 равна площади квадрата со стороной с / \/2, где параметры 
взяты из несобственных интегралов (528), (529) с пределами от 0 до + о. 

С учётом вышеизложенного, параметр 92/5? можно применять для 
оценки нормальности распределения случайной величины. Например, 
возьмём в качестве выборки классические результаты ряда измерений 
заряда электрона, выполненных Милликеном в 1910 — 1914 гг. Одна 
из последних серий экспериментов дала следующую таблицу значений 
заряда в электростатических единицах, с учётом коэффициента 10713, 
при т = 20 (данные опытов взяты из [31]): 


4781 4775 4764 4789 
4795 4772 4776 4764 У 
4769 4791 4771 4774 у= 
4792 4782 4789 4778 

4779 4767 4772 4791 





= 4778, 55; 


20 г. 

УУ,-Я=16410 > 4=164,10/19 = 8,637, 4? = 74,595; 
= 

20 2 2 

>`(5,-9) = 1828,95 > $ = 1828,95/19 = 96,26; 

= 


97/5? = 74,595/ 96,26 = 0,775. 
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Полученное значение индекса нормальности распределения У(х) 
находится между алгебраическим верхним пределом 1, согласно (531), 
и математическим ожиданием 0,637, согласно (532). Следовательно, 
в имеющейся выборке случайных значений в этом конкретном примере 
не имеется какого-то заметного противоречия гипотезе о нормальном 
распределении у. Это установлено здесь на основе индекса 42/52. 

Применение моментов более высокого порядка (> 2), с целью 
оценки справедливости той же гипотезы о нормальном распределении 
случайной ошибки, вряд ли целесообразно, ввиду гораздо большего 
накопления статистических отклонений в их выборочных значениях. 


жж 


Иной способ проверки гипотезы о нормальности распределения у, 
а именно с принимаемой доверительной вероятностью Л, реализуется 
даже при относительно небольшом объёме т частной выборки ‹у 
с использованием {-критерия согласия Стьюдента. В данном критерии 
изначально заложен закон нормального распределения для случайной 
величины у. Но при этом само Т-распределение Стьюдента в отличие 
от нормального распределения вполне конкретно. Обычное отношение, 
которое подчинено Т-распределению Стьюдента, — это статистика 
типа: 





и =——. 534 
с/т с? $/^/т о 


Статистика является, по сути, отношением Стьюдента, поскольку 
( = у) / (с / Ла ) есть по главной гипотезе нормированная нормально 
распределённая случайная величина — по закону (521), а [$2.(и1- 1)/6?] 
есть по ней же случайная величина, имеющая /?-распределение Пирсона 
с числом степеней свободы К = т - 1. Соответственно эта статистика 
имеет Т-распределения Стьюдента с тем же числом степеней свободы 
К = - 1. Она имеет плотность распределения вероятности р\. = ру(и). 
Данная функция с ростом К неуклонно приближается к нормированной 
функции (522) для закона нормального распределения, при К —> 00 они 


полностью совпадают. (На практике при К > 30 они уже довольно мало 
различимы между собой [15, 46].) 
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Интегралы вероятности от неё выражаются функциями 2-х видов: 
1 
1 
Тю = [ри = > [ю +1] (535) 
— для одностороннего {-критерия (функция Стьюдента 1-го рода), 


| 
Т.(6Ю=2 [р @даи =2.т4Ю=1 (536) 
0 


— для двустороннего +-критерия (функция Стьюдента 2-го рода). 

Интегралы вероятности (535), (536) при возрастании числа степеней 
свободы неуклонно приближаются к функциям Лапласа (523), (524). 
Соответственно для нормально распределённой у имеем оценки для у 
в (534) через статистику и: 


а — ЕЕ <) = (БЕ) где {> 0. 


Когда в задаче интересны пределы отклонений от у с доверительной 
вероятностью .Рв обе стороны от неё, тогда, естественно, применяется 
двусторонний критерий Стьюдента. В таком случае с доверительной 
вероятностью Римеет место основное неравенство вида: 


У-6 (7, ш-1. <у<у+ь (ще. (537) 
— Ма 

Для проверки главной гипотезы о нормальности распределения у 

[и доверительной вероятностью Р применим статистическое сравнение 

двух выборочных средних для у с использованием того же {-критерия 

согласия Стьюдента. Пусть, например, в начальной точке х'\) е сп 

экспериментально получены две независимые выборки а» и Ус» 


равного объема г (где 2г = п1). Величина (» шт. должна быть 


распределена нормально с ц = 0 и дисперсией ©./ 2 /т, см. (491), (493). 


При этом величина (» — Ус) ) / (42 / У) имеет нормированное 
нормальное распределение. Для суммарной выборки ‹у> объёма т = 2г 
несмещённая выборочная дисперсия равна 5?. Величина [$?-(т — 1)/0?] 
распределена как 2 с числом степеней свободы К = т - 1. Образуем 
из этих величин статистику ч, которая должна иметь Т-распределение 
Стьюдента с числом степеней свободы К = т - 1: 
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_ УФ Зе) / 5 = 1 ры Е Ую-Ус _ УФУ (538) 


ор И 25/Ма. 


Поскольку знак выражения [В ф- у ©) ) априори неизвестен, то для 





оценки этой величины с доверительной вероятностью 7? используем 
двусторонний критерий Стьюдента: 


№2 2 
о-в < (2, ш-1)- ее = (2. п-т (539) 
ш 


Если эта разность двух выборочных средних попадает в указанный 
симметричный интервал, то с доверительной вероятностью .Р можно 
принять, что нет противоречия гипотезе о нормальности распределения 
случайной величины у, но пока только в центральной точке Х(0). 

Продемонстрируем на конкретном примере проверку гипотезы по 
вероятностному неравенству (539), используя вышеуказанную таблицу 
экспериментальных значений заряда электрона, разделённую на два 
равных и статистически независимых блока объёмом г = 10. Имеем: 


Ув = 4780,3, Ус) =4776,8, Уд - Ув) =+3,5; 
= /96.26 =9,81, 84/2 //г = 9,81: 1,41/3,16 = 4,39. 


Выпишем расчётные значения члена  ‹ (8/2 / У: ) в неравенстве 
типа (539) при различных уровнях доверительной вероятности 2 


= 0,99: 2,861 : 4,39 = 12,56; 
7Р= 0,95: 2,093 . 4,39 = 9,19; 
= 0,90: 1,729 - 4,39 = 7,59; 
Р= 0,80: 1,328 - 4,39 = 5,83; 
Р= 0,70: 1,066 : 4,39 = 4,68; 
Р= 0,60: 0,861 : 4,39 = 3,78; 
Р= 0,50: 0,688 - 4,39 = 3,02. 


То, что неравенство (539) выполняется даже при довольно низком 
уровне .7= 0,60, свидетельствует здесь о том, что проверяемая гипотеза 
практически достоверно не противоречит разбросу в общей выборке 
экспериментальных значений целевой функции У. Причём дальнейшее 
повышение уровня „Ртем более не опровергнет эту главную гипотезу, 
так как параметр & будет только возрастать, увеличивая допустимый 
интервал для разности двух выборочных средних. 
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Вообще, при использовании понятия доверительная вероятность Р 
здесь и далее нужно учитывать имеющийся в общепринятом подходе 
к проверке статистических гипотез явный парадокс. Он проявляется при 
подобного рода статистических оценках с применением Ф(и), Т(а) и 
других стандартных функций вероятности. Этот парадокс заключается 
в следующем. Чем при меньшем нижнем предельном уровне 7 данная 
статистическая гипотеза не опровергается, тем она более надёжная; 
и обратно — чем при большем нижнем предельном уровне .Р данная 
статистическая гипотеза не опровергается, тем она менее надёжная! 
Таким образом, в пределе при .Р-+ | любая статистическая гипотеза, 
проверяемая поэтому критерию, небудет опровергнута (даже неверная), 
поскольку при этом {-критерий и соответственно допустимый интервал 
для случайной величины стремятся теоретически к бесконечности. 

Именно поэтому на практике выбирается действительно априори 
необходимый уровень .7. Например, в научных экспериментах или при 
планово-экспериментальной оптимизации целевой функции применяют 
обычно 7 = 0,95 — как для одностороннего, так и для двустороннего 
критерия согласия. 

В конкретном вышеуказанном примере статистическая гипотеза о 
нормальности распределении случайной величины у при 7 = 0,95 не 
опровергается, причём с большим запасом по надёжности. В другой 
же серии подобных экспериментов вполне возможно, что отклонение 
(» — У) могло бы быть побольше, но в любом случае оно должно 
отвечать неравенству (539) при уровне 7 = 0,95. Хороший запас по 
надёжности как раз свидетельствует о том, что за границы допустимого 
интервала эта случайная величина при принятом уровне Рпрактически 
никогда не выйдет. 

Если же проверяемая статистическая гипотеза не подтверждается, 
даже при довольно высокой доверительной вероятности .Р = 0,95, то 
далее нужно предпринимать корректирующие действия по улучшению 
качества случайной выборки ‹у>. Например, выявляют и устраняют 
какие-то имеющиеся систематические ошибки в опытных значениях у, 
отбрасывают по стандартным процедурам явно малоправдоподобные 
опытные данные, повышают точность измерений или наблюдений. 
Более затратный способ — увеличение количества экспериментальных 
значений У, или объёма ш выборки ‹у>. Тогда левая часть в (539) 
будет теоретически уменьшаться относительно правой части, причём 


несколько медленнее, чем — 1/^/та. 
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С другой стороны, изученное ранее выборочное отношение (532) при 
11 —> со должно приближаться к теоретическому пределу в силу того, что 
Ч и $ приближаются к математическим ожиданиям б и о. Уменьшение 
с только за счёт изменения масштаба для величины У формально также 
уменьшает абсолютную ошибку $ в её значениях. Но это, разумеется, 
никак не влияет на соотношение левой и правой частей в (539) и на 
отношение (532). Отсюда хорошо видна непригодность абсолютной 
ошибки, например, 4 или $ для оценки точности значения у и, наоборот, 
хорошо видна актуальность относительной ошибки (погрешности) 
типа 4 =1004/,% или @,=1005/Уу% для той же цели. 

Например, в указанной выше серии измерений заряда электрона 
фактически имеем $ =9,81 : 10 13, а,= 0,2%. В пределе при а — 0 
начинает уже сказываться и превалировать ошибка округления для у, 
которая имеет своб распределение. Следовательно, при этом неизбежно 
нарушениезакона нормального распределенияошибки опытавзначениях 
целевой функции у в точке Хо), Хотя точность здесь сверхвысокая! 

Отсюда в планировании эксперимента с имеющимся значительным 
разбросом опытных данных при оценке качества выборки ‹У> должны 
играть главнейшие роли, как правило, следующие два обстоятельства. 
Первое — соответствие выборки закону нормального распределения 
с принимаемой доверительной вероятностью .Р для реализации затем 
возможности использования в линейной полифакторной регрессии 
базирующихся исходно на нём стандартных статистических процедур. 
Второе — достижение приемлемой по уровню относительной ошибки, 
например, @ = 0, < 5% (по аналогии с принятым уровнем доверительной 
вероятности .Р = 0,95), что обеспечивает соответственно приемлемый 
уровень общей ошибки для находимых в процессе оптимизации У(Х) 
статистических параметров: директивных векторов, точки экстремума, 
всех значимых коэффициентов модели регрессии и т. д. 


жж 


Согласно первому из этих обстоятельств, следующий этап в оценке 
качества полученного множества экспериментальных значений ‹у, ИЛИ 
выборки сводится к аналогичному статистическому анализу, но в целом 
на области плана эксперимента, и сравнению значения характеристики 
распределения с таковым для исходной начальной точки Х(0) Е сп. 
(Последняя является геометрическим центром плана эксперимента.) 
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Например, при статистическом анализе выборки вначале находится 
выборочная несмещённая дисперсия воспроизводимости: 


22а _Т Е М1 Ма 
Е а 2 1) ь = ММ о у.) 7 (540) 


где М — общее количество точек в плане эксперимента, т. количество 


опытных значений у в каждой 4-й точке, К. — число степеней свободы, 
определяемое здесь естественным образом как 


м1 м1 

к=У (м. -1)= К =М-М, (541) 
а=0 а=0 

где 
М-1 

М = та (542) 


— суммарное количество экспериментальных значений у на множестве 
точек плана. Понятно, что указанная дисперсия воспроизводимости 
определяется при условии, что хотя бы некоторые (а лучше все) точки 
имеют т, > 1. Ранее в центре хо) = <" была найдена выборочная 
дисперсия 90 =” {у} с числом степеней свободы Ку = ту - 1. 


2 


2 _ 22 
Пусть Зах = тах (55,57), Ва = пл (50,5 ь КиК, — их числа 


степеней свободы. Критериальное отношение типа 


Ва ве (543) 


шт 


должно здесь иметь Е-распределение Фишера — Снедекора с числами 
степеней свободы К для числителя и К для знаменателя [15, 46]. 
Пусть Е* — его критическое (табулярное) значение при доверительной 
вероятности .Р = 0,95. Тогда, если Е < Е*, то далее с вероятностью Р 
принимаем гипотезу об однородности нормального распределения у 
на области плана эксперимента (с = соп$®. И обратно, если Е > Е*, то 
эта гипотеза с той же вероятностью отвергается. 

В первом случае переходим к построению, анализу и применению 
для оптимизации функции отклика соответствующей регрессионной 
модели. Во втором случае сначала выполняются вышеупомянутые 
корректирующие действия, но теперь для точек плана эксперимента 
в целом. Например, можно увеличивать объёмы т. частных выборок 


«УР, ] = 1, п; во всех или в отдельных точках плана эксперимента. 
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8 7.4. Критерий адекватности планово-регрессионных моделей 


Для оптимизации целевой функции отклика У = У(х) в планировании 
эксперимента обычно используют её локальные (т. е. на области планов) 
регрессионные модели. Однако при высокой точности эксперимента 
возможно попросту прямое применение разностных моделей функции 
отклика, находимых по минимальным планам эксперимента, подобных 
ранее описанным в $ 6.3 —6.5 планам вычислений. В последнем случае 
критерий адекватности модели и функции уже рассматривался в $ 6.2. 
Особенностью такого планирования эксперимента является достаточно 
малая доля случайной ошибки для У(х) в её общей суммарной ошибке. 
Поэтому далее рассмотрим самый общий случай, при котором модель 
регрессии содержит и случайную, и систематическую ошибки. Понятно, 
что последняя может на областях планов эксперимента быть главной 
причиной завышения реальной ошибки для У(Х) в сравнении с той, что 
оценивается по закону нормального распределения с © = соп$ и И = 0. 

К модели линейной регрессии у = У(х) предъявляют требование её 
адекватности функции отклика у = У(х) на области плана эксперимента 





или конкретнее — на множестве точек ‹х_, = 0, М-Г. Норешение о том, 
адекватна регрессионная модель функции отклика или нет, принимают 
с задаваемой доверительной вероятностью .Р по критерию согласия 
Фишера— Снедекора [15, 29, 46], выражаемого отношением дисперсии 
адекватности и дисперсии воспроизводимости, сравнением его с Е*: 


= {9,9} 152 {9} >1. (544) 


(Причём, если Е < 1, то сразу же принимают, что модель и функция 
адекватны, так как на фоне случайной ошибки явно отсутствует какое- 
либо заметное смещение модели от функции.) Несмещённая дисперсия 
воспроизводимости 82 {5} с числом степеней свободы К, = М - М уже 
вычислялась выше, согласно формуле (540). В свою очередь, дисперсия 
адекватности естественным образом вычисляется через полную сумму 
квадратов имеющихся отклонений у от у, с учётом формулы (513): 


1 та 2 
>, (5..-9.) , (545) 
01=1 


2 2 {9 у} 1 1 м“ 
ба — ба ДУ У; = "Чит = у 
Ка м-о а= 


где О — количество коэффициентов в модели линейной регрессии, 
К «=М-О — число её степеней свободы (© < К+1 или О <К). 
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Теоретически, с учётом формулы (513), оно составляет значение 


—> 
Ка =М-О = гап? УУ', (546) 


где У есть МхО-матрица планирования эксперимента, гапо У = О. 

В игоге по формуле (545) вычисляется в общем случае смещённая 
систематически выборочная дисперсия адекватности ий {5, у} модели 
и функции. Причиной такого смещения модели является то, что и} У 
может заметно отличаться от реальной у = ну}. Отсюда числитель 
в формуле (544), как статистика, имеет в общем случае нецентральное 


Х2-распределение Пирсона с числом степеней свободы К. =М-О. 


р бы = 0 Е о, Ау = 0” {9} +4" (Ус), 


(547) 


где ДУ. = Е {9} _ ,. частная систематическая ошибка для Ув 
2 1 ры 1 Ме 
А Е ууу а (548) 


т. е. её квадрат средней систематической ошибкаи на «хо, или плановая 
дисперсия. Нознаменательв (544), как статистика, тут имеет центральное 


Х2- распределение Пирсона с числом степеней свободы К =мМ-М: 


{5} =07 {у}. (549) 

Если бы в дисперсии (545) отсутствовала систематическая ошибка 
(548), то и статистика Е в (544) имела центральное Е-распределение. Но 
поскольку целевая функция отклика У(х) аппроксимируется разностной 
моделью всего лишь до 2-го порядка, то систематическая ошибка 
в (545) практически есть всегда — либо больше, либо меньше. Отсюда 
и критериальная статистика Ё, вычисляемая по формуле (544), имеет 
в общем случае также нецентральное Е-распределение. 

Казалось бы, критериальное неравенство Е < Е* (с доверительной 
вероятностью .7) действительно могло бы применяться для оценки 
пригодности получаемой регрессионной модели У = У(х) в целях 


дальнейшей оптимизации функции отклика. Однако это вовсе не так. 
Покажем, что именно для данной роли оно не годится. 
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В математической статистике под адекватностью чего-нибудь 
чему-нибудь понимают их тождественность с достаточно высокой 
вероятностью 7, но лишь в пределах отвечающей ей допустимой 
случайной ошибки. Тогда с увеличением случайной ошибки в (545) 
и (540) вероятность адекватности модели и функции будет только 
возрастать. Например, из (544), (540), (545), (548), (549) следует: чем 


2(- 
больше с {9} тем лучше по критерию Е адекватность модели; и 


2(- 
обратно, чем меньше о {5} тем хуже по критерию Е адекватность 
модели. Вклад систематической ошибки в общую в первом случае 
уменьшается, а во втором случае увеличивается. В пределе даже 


имеем 111 Ё = 00, так как [ит 5° = 0, 1152 ЕЛ? Уз Но это уже 


о—>® о—>0 с>0 
полный абсурд! Как маргинальный пример, он выражает здесь то, что 


планово-вычислительные методы, рассмотренные в гл. 6, применяют 
заведомо неадекватные по Е модели 1-го и 2-го порядка (для них 
формально Ё = 0, т. е. всегда Е > Е*), но, тем не менее, все эти модели 
применимы для оптимизации У(Х). 

Иными словами, при традиционном планировании эксперимента 
имеется парадокс. Адекватная по Е-критерию и поэтому пригодная 
регрессионная модель становится вдруг неадекватной по Е-критерию 
и поэтому непригодной при уменьшении её суммарной ошибки за счёт 
повышения точности эксперимента (например, вследствие увеличения 
количества опытов в точках плана). И обратно — неадекватную модель 
можно сделать адекватной при увеличении её суммарной ошибки за 
счёт уменьшения точности эксперимента!? Избежать этого несуразного 
несоответствия можно, если принять нижеследующую концепцию: 

1) различие в значениях функции и её регрессионной модели в каждой 
точке плана и на их полном множестве составляется из случайной и 
систематической ошибок, что статистически в пределе выражает (547) 
с частными вкладами средних квадратичных отклонений двух типов; 
2) точность регрессионной модели при необходимости надо повышать 
за счёт уменьшения явно большей из ошибок двух типов, что должно 
оцениваться статистически через анализ их частных вкладов; 

3) пригодность полученной конкретной регрессионной модели для 
оптимизации функции отклика У(х) нужно оценивать по относительной 
ошибке модели на области плана типа (471), имеющей универсальную 
применимость — как в планово-вычислительных, так и в планово- 
экспериментальных процедурах оптимизации. 
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Начнём с пункта 3. Чтобы его реализовать практически, определим 
относительную ошибку регрессионной модели аналогично (471) как 








1 М-1 ма ь а 
ба ь) 5 55,7} 
Е Е НИЙ 100% = УХ 100%, — (550) 
Ушах — Ушш Уах — Уют 


где Ух и Уи - Максимальное и минимальное выборочные средние 
на множестве точек плана эксперимента «Хо. Нетрудно видеть, что при 
таком подходе к оценке адекватности модели точность планирования 
эксперимента согласована корректно с вкладами ошибок обоих типов. 
А именно, критерий & уменьшается при уменьшении и случайной, и 
систематической ошибки — порознь или вместе и соответственно 
обратно. Отсюда видна его применимость и в планово-вычислительных 
методах оптимизации (см. гл. 6), где случайная ошибка практически 
нулевая. Отсюда же (471) является как бы предельным аналогом (550). 

Далее обратимся к пункту 2. Если критерий & слишком большой 
по величине, например, & > 5%, то затем на основе полученных 
статистических данных необходимо выяснить: какая же из этих двух 
ошибок вносит больший вклад в общую ошибку? (Обе ошибки в сумме 
своих долей дают 1.) Логика здесь такова. Если бы общая ошибка была 
тут чисто случайной, то равновероятным являлось 52 = и (Е =1), 
т. е. при Р = 0,50. Напротив, если бы общая ошибка была тут чисто 
систематической, то было $, = 0. Отсюда с условием равновероятности 
весьма корректной оценкой относительных вкладов обеих этих ошибок 
являются долевые коэффициенты вида: 


= / в, 1= (5 -52)/за, (у+т=1). (551) 


Снижение доли систематической ошибки достигают уменьшением 
интервалов варьирования частных факторов в плане эксперимента. (Это 
отвечает сужению области плана.) Снижение доли случайной ошибки 
достигают, наоборот, увеличением интервалов варьирования частных 
факторов в плане (или, если это достигается не слишком затратно, — 
увеличением количества экспериментов в точках плана). 

Разумеется, все подобные действия по повышению точности 
аппроксимации выполняют только тогда, когда модель регрессии у(х) 
имеет неудовлетворительную величину относительной ошибки (550), 
например, более 5%. Здесь попросту сохраняется аналогия с обычно 
принимаемым в планировании эксперимента уровнем доверительной 
вероятности = 0,95 и соответственно ненадёжности @ = 1 — Р= 0,05. 
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Если же в (551) у и близки друг к другу, но относительная 
погрешность модели (550) довольно высокая, то изменение интервалов 
варьирования факторов в плане неэффективно. В таком случае нужно 
повышать точность экспериментальных данных, т. е. либо увеличивать 
количество опытов (измерений, наблюдений) Ч; в точках плана, либо 
повышать качество проведения экспериментов. 

Рассмотрев общие и смежные вопросы, относящиеся к главному 
предмету обсуждения данной главы, перейдём к основным процедурам 
планирования эксперимента при поиске экстремума функции отклика. 
В принципе, здесь возможны два вида аппроксимационного подхода, 
а именно, чисто разностный и общий регрессионный. 

Первый подход целесообразен только в том случае, когда достаточно 
уверенно можно прогнозировать, что относительный вклад случайной 
ошибки в общую ошибку модели будет достаточно мал. В этом, скажем, 
уникальном варианте оптимизацию функции отклика целесообразно 
осуществлять, применяя планы, ранее уже описанные в 6 6.2, но 
с единственным экспериментальным значением в каждой точке. При 
этом минимальные планы характеризуются тем, что в них количество 
точек (тут ещё и общее количество экспериментов) равно максимально 
возможному количеству ненулевых коэффициентов в соответствующей 
им разностной модели целевой функции отклика У = У(х)— либо 1-го, 
либо 2-го порядка: М = К +1 = М. Например, убедиться в том, что 
вклад случайной ошибки слишком мал можно уже на самом начальном 
этапе оптимизации, а затем перейти к использованию вышеуказанных 
планов. К аналогичному прогнозу можно прийти исходя из величины 
реально достигаемой относительной ошибки измерения (наблюдения) 
0, = 100$/у% (см. $ 7.3). Так, если случайная ошибка находится лишь 
на уровне сотых долей процента от величины оценки у, то, в сравнении 
с принятым допустимым уровнем (5%) для относительной ошибки 
(550), это составляет — 1%, что в таком варианте вполне допустимо. 

Второй подход является вполне обычным и даже общепринятым. 
Он исходит из линейной регрессии функции отклика на области плана 
эксперимента (см. $ 7.2) с последовательным использованием еб тех 
же самых разностных моделей — либо 1-го, либо неполного 2-го, либо 
полного 2-го порядка. Но коэффициенты этих полиномиальных моделей 
содержат дополнительно случайные ошибки. Ввиду такого снижения 
точности аппроксимации для функции в планово-экспериментальных 
методах в сравнении с ней же в планово-вычислительных методах, 
применение разностной модели функции отклика 1-го порядка здесь не 
оправдано. (Скорость сходимости градиентного метода и так мала.) 
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В нормированных планах центр приведённых координат есть & = 0, 
т. е. исходная переменная х нормируется так, чтобы она обнулялась в 
центре плана. (Центр плана может являться независимой проверочной 
точкой при обосновании статистических гипотез, например, гипотезы 
об однородности нормального распределения ошибки эксперимента.) 
Переменные х, нормируют по формулам приведения в переменные %;: 


х-х. 
1 1(0) 
=— > х= Хо +АХ;` &, 


АХ; (552) 


где лх, — частные вариации переменных х; (интервалы варьирования). 
Их смысл вполне очевиден, если обратиться, например, к рис. 13 — 15 
(гл. 6). Тогда все частные нормированные переменные 1, изменяются 
только на шаг с интервалом +1 или -1 (см. далее на рис. 16—18). 

При централизованном регрессионном планировании эксперимента, 
с целью изъятия в модели регрессии свободного члена, функция У(х) 
нормируется так, чтобы в центре плана она была заведомо нулевой. 
Функция у от х последовательно нормируется по формулам приведения 
сначала в функцию от нормированной переменной %, затем в функцию 
от вектор-фактора и (см. $ 7.2): 


у = У(х) = $(0 — 4у=$(0-6(0)=9(0 =Г(и) = ш-Ь 
> у=7® =$(9 >^у=$(®0-6(0) =9(® =Ки)=и\Ъ, (553) 


где формально Ф(0) = у‹ = 5) и поэтому У =уо+ду, у = У +ДУ. 
Через (552), (553) частные переменные Х,, {; и факторы Ц, а также 
коэффициенты 5., 5., 5; полиномиальной модели и коэффициенты 
Ь, модели линейной регрессии Ду = Ки) однозначно взаимосвязаны. 
Напомним: в планировании эксперимента принимают, что переменные 
(факторы) для целевой функции в точках плана всегда задаются точно. 
Далее рассматриваются ортогональные и субортогональные планы 
и процедуры планирования эксперимента при оптимизации функции 
отклика исходя из минимизации количества точек в плане эксперимента 
и общего количества опытов (наблюдений, измерений) в точках при 
обеспечении необходимой точности регрессионной аппроксимации 
функции У(Х) её разностными моделями как неполного 2-го, так и 
полного 2-го порядка. (Планирование с разностными моделями 1-го 
порядка, естественно, здесь не рассматривается из-за низкой скорости 
сходимости градиентного метода и еб непредсказуемости, в силу 
высоковероятных проблем, связанных с овражной сходимостью.) 


286 Глава 7. Планово-экспериментальная п-мерная оптимизация 


$ 7.5. Экспериментальная оптимизация неполного 2-го 
порядка по плану осевой п-крест 


В указанном аспекте довольно эффективен масштабно-градиентный 
метод, который хорошо преодолевает проблемы, вызванные овражной 
сходимостью (см. 885.9 и 6.4). Исходя из этого метода планово- 
экспериментальная оптимизация У(х) в координатном пространстве © #7 
базируется на аппроксимации целевой функции отклика у(х) разностной 
моделью неполного 2-го порядка, но с коэффициентами, полученными 
в виде регрессионных оценок: 


п 1 п 
у(х) =у=У(=#,+» 5, - (х, -)+5 2.8 =(х, с, = 
= = 


1 . 
+8 5-9+ к-9-6-к-9=90- 


= У, +4у =У, +1%(0 =У, +Ки) = У +5, (554) 


где 5, = у,—несмещённая оценка начального коэффициента для любой 
степенной модели, применяемая при централизованной регрессии, 


з И > 
5 = АХ очементы регрессионного 1хп-вектора градиента 5, 


— элементы регрессионной пхп-матрицы Гессе О. 





51 Ах; 
Наиболее естественный план эксперимента для реализации данного 
метода — это осевой п-крест. Все точки такого плана расположены 
по осям координат в парных направлениях, одна точка х/ находится 
в центре— см. рис. 14 (гл. 6). Например, он сразу же может применяться 
как минимальный план эксперимента тогда, когда случайная ошибка 
модели по прогнозу достаточно мала (см. $ 7.4).С целью придания плану 
эксперимента свойства ортогональности ($ 7.2) центральная точка Ху 
в основном расчёте не принимается во внимание, а функцию отклика 
нормируют, согласно (553). Эта точка служит для независимой оценки 
свободного члена 5 (при нормировании функции отклика), а также 
для проверки принимаемых статистических гипотез. Тогда вычисление 
коэффициентов регрессии осуществляется по упрощённым формулам 
(504), (514). В регрессионной модификации масштабно-градиентного 
метода, как будет видно далее, это тождественно их вычислению по 
скалярным формулам типа (475). 
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В нормированном варианте план осевой п-крест имеет упрощённый 
вид, изображённый иллюстративно на рис. 16 при п =2. Все точки е 
находятся на осях координат на отметках +1 и -—1 и одна точка & = 0— 
в центре. Схема нормированного плана эксперимента осевой п-крест 
и движения к экстремуму целевой функции по данному плану показаны 


условно на рис. 16 при п = 2 в декартовом базисе. 





Рис. 16. Поиск экстремума целевой функции Ф({) = У(х) при п =2 по 
нормированному плану осевой п-крест. , 
Обратим внимание также на то, что и здесь директивный вектор } 
неполного 2-го порядка находится всегда в тех же самых квадрантах, 
что и векторы градиента © (при поиске максимума) или антиградиента 
—$ (при поиске минимума), что тут обусловлено чисто масштабным 
характером их взаимосвязи. (Например, на рис. 16 он условно находится 
в 4-м квадранте.) В данном примере имеем: 
б=0= (0, 0), = (+1, 0), >, = (-1, 0), 3) (0, +1), (и) = (0, -1) 


план; 




















АЕ 1 идЬ = 1 — частные вариации переменных (; 

ф()=У, = 5,— оценка начального коэффициента модели (554); 

Ф (К) =Уь, Ф (6) = У» Ф(&з)) = Уз, Ф (44) = Уд — значения целевой 
функции в точках плана. Причём, согласно (553), (554), имеем: 





у=У(®) =6(0 > у=У,-+4у; ду = (® =Ки) = и". 
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В частности, при п =2, с учётом (554), имеем: 


у = У(х) =, +8 -(х,-с,)+8, -(х,-с,)+ 
1 


. 1. 
+55 (-@) +565 (©) = 


. : : ь 1. , 
= =, +а, ча, ва и Ё 
= (и) = Уи" 6 = у +Ь, - в, +В, - и, +6. и: +Ь, =. 


При централизованной линейной регрессии компоненты вектора Ъ, 
или коэффициенты Ы. (где индекс К пробегает все значения от 1 до К) 


вычисляются при п > 2 по тождественным формулам типа (504), (514): 


ан [адм - (0'’.0) "0. 4у, (К=2в), 


где ду в у а у, Причём вторая из этих двух формул значительно 
проще, так как (№-1)хК-матрица планирования Ц для нормированного 
плана осевой п-крест (где лу, = 0) при №-1 >Кип> 2 ортогональная. 
Например, при размерности п = 2 имеем 4х4-матрицу планирования 0 


структуры: 




















92} | ш-Ы >=6 =? | щ=6? 
и, +1 0 +1 0 
и, 1 о + о (555) 
и. 0 +1 0 +1 
и. 0 —1 0 Е] 























Отсюда КхК информационная и ковариационная матрицы вычисляются 
весьма просто: \М = 9’ = 2.4}, $ =\ 1 = \} /2. Вообще же при 
любой размерности задачи п > 2 матрица планирования и минимальная, 
и ортогональная: М; = 2+1 =К+1,М=К+ит; 99 =2:{1 =00' 


(8, 1; а4= 1-К). При этом она квадратная и имеет размер 21х21. 
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Это легко проверить, если в матрице (555) выполнить перестановку 


столбцов 2 и 3, получив 2-х клеточную матрицу планирования 0: 




















=} | ш-й | №26 | №26 | щ267 
и +1 +1 0 0 
и, = + 0 0 (556) 
и. 0 0 +1 +1 
и. 0 0 —1 +1 

















С возрастанием размерности п матрица планирования дополняется 
подобными диагональными 2х2-блоками. С учётом (552) и того, что 
у = У, +ДУ, из (514) для компонентов вектора градиента и матрицы 
Гессе легко получаются всегда однотипные для любого п > 2 скалярные 
формулы — аналоги (475). Имеем: 5, = У,, 








5 = а м Ущр — Уз 
"АХ; 2Ах; | 
1 5. - а = Ув вы У) —27, (557) 
0 ЗА. РА 
Ви 0 
8 = (8,,-..8.); Р= (558) 
ВЕ зе 


План на рис. 16 содержит 5 точек. В общем случае при п > 1 количество 
точек в плане осевой п-крест составляет М =2п + 1= К+1= М, 
число опытов М определяется по формуле (542). В частности, ири п= 1 
процедура поиска экстремума сводится к одномерному планированию 
эксперимента 2-го порядка, т. е. к методу ньютоновского типа ($ 5.5). 
Теоретически из (520) и (557) нормальные дисперсии для статистически 
независимых здесь случайных ошибок коэффициентов составляют: 


с? {8,}=0° {у} / м, о* {8,} =0° $} 2Ахр, 
б* {8/21 = (1/ т, +1/2)-0* {У} Ах," . 











(559—561) 


Коэффициенты вычисляются функционально независимо друг от друга. 
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Пошаговое движение к промежуточному или конечному экстремуму из 
точки © осуществляется при п > 2 по директивному вектору: 


б/н 

ъ КАТ 

1= (-2) -8 еее | (562) 
81 / бла 


Этот вектор и радиус-вектор х по компонентам имеют одни и те же 
размерности. При изменениях масштабов по осям х; они преобразуются 
ковариантно. Формально масштабы по осям здесь не влияют на скорость 
сходимости. 

Отметим то обстоятельство, что укрупнением масштабов по осям х; 
можно при необходимости добиваться пропорционального уменьшения 
отношений5./5.. вформуле(562),чтоважно,еслизнаменатели., слишком 
тут малы и не точны. Причём с укрупнением масштабов знаменатели 5., 
увеличиваются на порядок больше, нежели числители 5.. 

Весьма наглядным признаком движения к экстремуму функции 
У(х) является знак всех 5, 0. (Но разные знаки хотя бы для пары $., 
свидетельствуют о локальной седловине целевой функции.) Причём 
с приближением к искомому экстремуму У(х) числители 6. неизбежно 
уменьшаются с замедлением вплоть до выполнения результативного 
неравенства типа (449). Хорошим признаком эффективности метода 
является то, что приближение к экстремуму сопровождается только 
уменьшением значений всех 5, но все 5,; при этом весьма значимые. 

Если матрица О(х) в окрестности строгого экстремума У(х) плохо 
обусловлена, т. е. при 5 —> 0 некоторые 5. = 0 (несмотря на укрупнение 
масштабов); или в окрестности нестрогого экстремума У (х) вырождена, 
т. е. при $ —> 0 некоторые 5; = 0, то этот метод в базовом варианте 
неэффективен. Тогда он приводит к слишком большому разбросу 
результата из-за неизбежных случайных ошибок в значениях целевой 
функции. Действенным способом разрешения этой проблемы может 
быть применение метода квадратичной регуляризации по Тихонову 
(см. $ 5.10). 

В качестве параметра квадратичной регуляризации, например, 
можно выбрать @ = тах{ 5. / Ах, } —> 0. Тогда имеем достаточно 
устойчивую оценку директивного вектора и координат экстремума: 


№ =-(Р+от)'.ё'. (563) 
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8 7.6. Экспериментальная оптимизация 2-го порядка 


Планово-экспериментальная оптимизация общеньютоновского типа 
($ 5.10) вкоординатном пространстве < #1 базируется на аппроксимации 
функции разностной моделью полного 2-го порядка с коэффициентами, 
полученными в виде регрессионных оценок: 


п п 


Уд ==>. 6 -64-9)+5-> Хо) (ке) = 
= 


+1 = 
: 1 не . 

= У(е)+8 (5-9 +-(к-©)'-6-х-9=90 = 

= Ур + А = 9 +4 (0 = У, + Ки) = У +, (564) 

где о — несмещённая оценка начального коэффициента модели, 

полученная, как и ранее в модели (554), статистической оценкой, 


применяемой при централизованной регрессии; или смещённая оценка, 
находимая совместно с оценками других коэффициентов модели, 





. Л : 
5; = Е разностного 1хп-вектора градиента 5, 

АХ, 

1 
22 2- 

 _ АУ. А°у - - 
5; = 5 5: = ——_____ элементы разностнои пхП-магрицы Гессе а 

АХ; АХ:АХ, 


8 7.6.1. Оптимизация по плану п-СКП 


Наиболее наглядно для реализации процесса оптимизации целевой 
функции отклика с разностной моделью 2-го порядка выбрать п-СКП 
(симметричный композиционный план). Данный план — композиция 
из осевого плана п-крест и координатно плоскостного плана п-крест, 
а, по геометрической сути, — композиция из осевого плана П-крест и 
его 4-х угловых точек в каждой из С координатных плоскостей «х,, х}. 
Но с целью приближения матрицы плана к ортогональности (см. далее), 
центральная точка х() в основном расчёте не принимается во внимание, 
а функцию отклика нормируют, согласно (553). Точка х, служит для 
независимой оценки члена 8, (при нормировании функции), а также 
для проверки принимаемых статистических гипотез. Тогда, как было 
уже выше ($ 7.5), оценка коэффициентов модели 2-го порядка при 
централизованной регрессии осуществляется по формуле типа (514). 
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В нормированном варианте п-СКП имеет более упрощённый вид, 
отображённый на рис. 17 при п = 2. В данном случае он содержит как 
4 осевые точки | на осях координат на отметках +1 и -1, т. е. из плана 














осевой 2-крест, так и 4 угловые точки | на отметках (+1, +1), т. е. из 


плана плоскостной 2-крест, а также одну точку в центре нового базиса. 





Рис. 17. Поиск экстремума целевой функции Ф(®) = У(х) при п =2 
по симметричному композиционному плану. 


Директивный вектор р находится, вероятнее, в тех же квадрантах, 
что и векторы градиента $ (при поиске максимума) или антиградиента 
—$ (при поиске минимума), или, по крайней мере, в одном из смежных 
с ними квадрантов. Это обусловлено тут всегда их знакоопределённым 
симметрично-линейным характером взаимосвязи. (На рис. 17 вектор р 
условно находится в 4-м квадранте.) В данном примере имеем: 
= 0= (0,0), в) = (+1, 0), о) = (-1, 0), 3) (0, +1), ое = (0, —1), 
5) (+1, +1), 6=С 1-1), К) (1, +1), 9 =( 1, —-1)— план; 

АЕ Ти дЬ = | — частные вариации переменных С; 
ф (4) =У,= 8, оценка начального коэффициента модели (554); 


Ф (1) = Уь, Ф(@2)) = У», Ф(&з)) = Уз, Ф(4)= У 


$(45)) =У5, Ф(5)=Уь, Ф(т))=У» Ф(&в) = Уз значения целевой 
функции в точках плана. Причём, согласно (553), (554), имеем: 






































у=У(®) =$(0 > у=У-+4у; ду = (® =Ки) =и"Б. 
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В частности, при п =2, с учётом (564), имеем: 


У=У(®) =, +8, (м -<) +5, (5, -с,)+ 


. 2 1. 2. 
+8" (ы-9) +7 `в (62) +8, 0 -©)- (к, -с,) = 


: | : Е Г. 1. : 
= =. аа, 6+ аи + а, +6 
= Ки) = У +и = У, +6, -щ +6, и, +6, -и, +6, цв, +Б. -ц.. 


При централизованной линейной регрессии компоненты вектора Ъ, 
или коэффициенты Ь, (где индекс К пробегает все значения от 1 до К) 
вычисляются при П > 2 по тождественным формулам типа (504), (514): 


а=1 а=1 


2 


где АУ = кей — у, (АУ, = 0). Причём (№-1)хК-матрица планирования Ч 
для п-СКП при любом п > 2 субортогональная из-за неортогональности 
её столбцов с факторами в. Например, при размерности п = 2 имеем 
8х5-матрицу планирования О нижеуказанной структуры: 
































=} | ш=6 | ш-Ь | №567 | щ=67 |щ5=66 
и, +1 0 1 0 0 
> —1 0 1 0 0 
и 0 +1 0 1 0 
и. 0 —1 0 1 0 
и; +1 +1 1 1 +1 
щ +1 —1 1 1 1 
и; —1 +1 1 1 1 
и —1 —1 1 1 +1 
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В самом же общем случае, т. е. при п > 2, матрица планирования Ч 
имеет блочную структуру вида: 


О› 1х2 


2пхс?2 
Апх 
р (1)4х2п (акс? 
= Абдхоа Ре (565) 


В 
(С Аха (С24хс? 


(№-Г)хК-матрица п-СКП (где М№-1 > К) включает, кроме нулевого, 
ещё три независимых друг от друга ортогональных блока: О, А и В. 
2пх2п-блок О отвечает осевому плану П-крест; в сумме 4С /?х2п-блок Аи 
4С, ИС „-блок В отвечают координатно-плоскостному плану П-крест. 
ее. ортогональный блок В задаётся переменными типа {1,4 : :}. 
Матрицы блоков © и В выделены в таблице (565) жирным шрифтом. 

Вначале рассматриваем блоки О и В как матрицы 2-х независимых 
централизованных ортогональных планов: осевого плана П-крест и 
координатно-плоскостного плана П-крест. Вычисление коэффициентов 
регрессии раздельно по этим планам обеспечивает для них наименьшие 
систематические ошибки (т. е. их смещения относительно истинных 
коэффициентов в разложении целевой функции в степенной ряд). Однако 
случайные ошибки для тех же коэффициентов регрессии незначительно 
уменьшаются в сравнении с таковой для целевой функции. Кроме того, 
ввиду ортогональности обоих раздельных планов тут довольно просто 
и дважды применяется формула (514) для вычисления коэффициентов. 
В итоге 1 и П-е коэффициенты вычисляются по формулам (557) для 
осевого плана п-крест, |-е коэффициенты вычисляются по формулам 
для координатно-плоскостного плана П-крест (в части блока В): 


а, ь (У; - Ув - Уз + Ув) ор. $ }=— —® 
5: 


АХ, - АХ, 4-Ах, -Ах, АХ, 


>. (566) 


Это упрощённый первый вариант вычисления коэффициентов регрессии 
по п-СКП. По степени простоты и наглядности он, пожалуй, самый 
простой из всех вариантов планирования эксперимента 2-го порядка. 
В игоге имеем: 


&=(8,), <=, 
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Альтернативный ему второй вариант вычисления коэффициентов 
регрессии по п-СКП сводится к их совместному нахождению по формуле 
(514) исходя из матрицы плана в целом. Применение этой формулы здесь 
весьма просто, так как субортогональная матрица плана, хотя полностью 
не ортогональная, но производит довольно простую для последующего 


обращения субдиагональную информационную матрицу \\: 
№ = {Ок = {(41-2).1 „о ® [41 -6)- 1. +4- Иа] 94-12 2}, (567) 


где Г — единичная матрица, { — тотально-единичная матрица, все 

элементы которой равны | (см. стр. 148). Причём, вполне очевидно, что 
2—1. ы 

Пхи = п: (К. Матрица У со структурой (567) весьма просто обращается 

в ковариационную матрицу 3 с той же субдиагональной структурой: 


=\ = {Ок = 


— Б-+с с — 
-|&-2 Пе ь-Ныа 4 Чиа}. (568) 


где имеем следующие значения числовых параметров: 


Ь=4п-5, с=2, 4=(4п-5).(21-1)-(41-1) = (21-3). (41-3). (569) 





В (568) числовой параметр 24 есть, по сути, детерминант матрицы 
в квадратных скобках в (567). В свою очередь, числовые параметры Б, с 


и а находятся в результате решения очевидного здесь уравнения: 


Ь+с с 


[(4п —6) а + нь ть = Ша. 


Отсюда составляется и легко разрешается система из 2-х уравнений 
с 2-мя параметрами Б/24 и с/24, указанными в (568) и (569): 


(4п-2).6-(п-1:4.с=24, 
—(4п-—2).с+4.е-(п-2).4.с=0. 


Далее по п-СКП вычисляем коэффициенты регрессии и их дисперсии. 
План на рис. 17 содержит 9 точек. В общем случае при п>2 вп-СКИ 
количество точек есть М = 212 +1 > К + 1; минимальное число опытов 


составляет М. =2и2 + ту. 


шт 
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С учётом (552) и того, что у = 7 + Ду, из (514) для компонентов 
вектора градиента и матрицы Гессе получаем все скалярные формулы. 
При п = 2 имеем частные формулы: 5 = те 
































5 — а, = (У, у,) (У; У у, у) 
АХ блх, ? 
ра а, _ (Уз У.) +0; У} — У - Ув) 
б- блх, ? 
154 _ 6- +30 +9.) 20. +++ УИ 
— 2АхГ 10лх? | 
а — вы Е 6. ЗО, у.) 2(у, у,) (У; Ув У. Уз) 
2” 2х, 10лх,7 } 
в, =, = а, У У уе 
И ДЕ 4. Ах, - Ах, 4-х, - Ах, 
. . . х 8 бр 
&= (5,8, ); 6-1 | } 
| 8 в 


Прип> 2 имеем общие формулы (570): ©, = а 


(6 Е Ув») + у (У; + Уз —. у, м У 











Га — 1 ш=1(151) 
` АХ; (4п-2).Ах, ’ 
о 
= ОУ = [с +0) + 
. > (1) 2(1) КУ 2(]) 
г _ а _ 20-1 У, ‚ | | = й 
"24х?  4п-3 Ах? 24-дх? 


п 


+6-с)- (У; +Уз + У: + Уз дов —4: —- (75 +96 +7 + Ув) 








ш=]+(тя!1) 

24. лх? 
аа а) (У; -У-У+У ар. 
Я" „ААВ 4. Ах, АХ, ? 


&=(5,), 6=%, } 
(В процедуре 2-го порядка наибольшее влияние на точность вычисления 
директивных векторов и экстремума имеют 1-ые и П-ые коэффициенты.) 


Теоретически из (518), (519) и (570) вычисляются все дисперсионные 
характеристики для случайных ошибок коэффициентов регрессии: 
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25 2(- 
21: о {у} 9. _ о $5} 
[е = н." {е Е 
. 
| _© {$} | [2в-1} ь а: 
сы тет. . [25 + А (571-574) 
| 5’ $5} 
1 ] 


Как видно, между случайными ошибками для П и ]-х коэффициентов 
имеется небольшая линейная корреляция, падающая с ростом п. 
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До настоящего времени наиболее известным и распространённым 
для планирования эксперимента по модели (564) является, как известно, 
п-ЦКП Бокса — Уилсона (центральный композиционный план). Впервые 
он был предложен в пионерской публикации этих авторов в 1951 г. [54]. 
Данный план эксперимента — это композиция из плана п-куб (или 
его дробной т-реплики) и плана осевой п-крест с плечом = & по осям 




















координат. При п = 2: = 1, план формально совпадает с 2-СКП, но 
матрица планирования Ц в сравнении с ним содержит дополнительно 








1-й столбец с &, = +1. Прип > 2: | | > 1 и вычисляется по специальной 
формуле — см. далее. Число точек в плане составляет М=21+2п +1. 

Входящий в П-ЦКП Бокса — Уилсона составной частью план П-куб 
вошёл в научный обиход статистики как полный факторный план 
с появлением дисперсионного анализа [15], основанного в 1-й трети ХХ 
века Р. Фишером. План П-куб применяется в математической статистике 
для выявления существенных факторов типа у, = би у, = Е: в. (Частные 
факторы ц,=  могутиметьи количественный, и качественный характер.) 
В планово-экспериментальной оптимизации функции отклика П-куб 
позволяет получать оценки только коэффициентов 5. и 55 в её модели 
(564), но не позволяет находить важные оценки 55. Отсюда и возникает 
необходимость его дополнения планом осевой П-крест. Тот же вывод 
относится к любой дробной т-реплике плана П-куб. Это есть его некая 
часть типа т-куб (при т < п). Для п-ЦКП она порождает генерирующее 
соотношение, применяемое для вычисления факторов взаимодействий. 
В статистике т-реплика называется дробным факторным планом. 
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При п = 2 имеем $ = 1. Здесь 2-ЦКП совпадает с планом 2-СКП. Он 


отображён на рис. 18 в соответствующих новых обозначениях. 





Рис. 18. Поиск экстремума целевой функции Ф(®) =У(х) при п =2 


по центральному композиционному плану Бокса— Уилсона. 


Матрица планирования У (см. $ 7.2)с переменными Е характеризуется 


наличием столбца с { =-1 и заменой Е на (2 9). Например, при п = 2: 










































































У- м} [© е ь гаюа ць 
У | о о а ао 
У, +1 +8 0 5=2-4| =а 0 
у) +1 = 0 =2-4| -а 0 
у. +1 о | чё | фа | =2-а| 0 р 
У +1 0 = =: 152-94 0 
У 1 Е1 1 1-41 1-4 +1 
У + |+ п |1а та 1 
У чара 
Уз +1 1 1 1-4 | 1-а +1 
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Исходная матрица планирования не ортогональная (при любом п > 2). 
Чтобы в общем случае перейти к ортогональной матрице планирования, 


= +2 


в модели (564) и в матрице вместо факторов \. © = п + 1 лежат 


р 
в п п-+1 - 21) вводятся новые факторы и = (62 - Ч), где 


4 = Ув. /М = [27° +25? ) / М. При вышеуказанном преобразовании 
= 
соответственно вместо 8 =а, = 6. вводят начальный коэффициент вида 


п 
| . Г. 
“= Ь =а, +4. У а, . (Для дробного п-ЦКП: М=2 +21 + 1.) 
1 
Этот искусственный приём ортогонализации матрицы планирования 
устраняет нарушение независимости коэффициентов 8,; и 5; В модели 
(564) именно по П-ЦКП Бокса — Уилсона. В результате обеспечивается 


независимость всех коэффициентов как для о модели 


линейной регрессии с новыми квадратичными факторами и = = (62 -9), 
так и для исходной модели (564). Дополнительный и. подобной 
операции состоит в упрощении процедуры вычисления коэффициентов 
исходной модели путём использования матричной формулы типа (508). 

С указанным подходом к проблеме начальная модель (564), с учётом 
нормирования переменных х; по формуле (552), далее преобразуется 
в модифицированную модель линейной регрессии следующим образом 

п 


Уд = +). -66-0+>-> Ув -в)(-с))= 
= 


ЕЕ {= 
: Ш. 1 2 ща. 
=$(0=5,+У а, +--», У а; = 

= 2 4= 1 
п-1 


их 5+2 а, же» У’ а, -1 


=1+Е 1=1 
а п п п п-1 
авы а 9+ Уа,-в-Е = 
= = = О 
к 
=Ъ, +>ь + у 6, ы т “+ — 6: и, (576) 
р=П- р=2 1-1 


—* . Ж* > . . . 
где Ь, =а. , в пробегают последовательно значения а,,а,, /2, а, : 
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При нормировании х; в &, по формуле (552) надо помнить, что шаги 
Ах; в п-кубе и дробной т-реплике равны рёбрам. С другой стороны, 
вдоль осей Х,, т. е. в плане П-крест, шаги равны значениям & ' Дх,. Как 
известно (см., например, [54, стр. 145]), из требования ортогональности 
матрицы планирования У, сводящегося к ортогональности столбцов 
с факторами И, ая 0 _ 9), для параметра = при п>2 и т < п следует 
формула (577): 














("+2 +2") "5 = 42 


Порядок 11 дробной реплики всегда меньше размерности п на число 
прменяемых генерирующих соотношений — генераторов (одного или 
нескольких). Эти соотношения применяются именно для плана п-ЦКИ 
с целью снижения количества точек в части п-куба с 21 до2", где т < п. 
Количество точек для дробного п-ЦКП Бокса — Уилсона сокращается 
до М=2 +21 +1. Это происходит за счёт того, что на каждое новое 
генерирующее соотношение из плана П-куб, во-первых, изымается 
столбец, как правило, начиная с { „, и далее |, _о,... › И, во-вторых, 
при этом сокращается в 2 раза количество строк ввиду их повторения. 
Далее каждый фактор взаимодействия переменных ц›= 1; умножается 
на генерирующее соотношение вида =, `Ё,*... *„, образуемое из 
остающихся в дробной т-реплике факторов 1, %, ... ‚ с естественным 
сокращением квадратов ты =1. При этом получаются определяющие 
контрасты, т. е. те же самые факторы взаимодействий переменных, 
но выраженные теперь через произведения всех оставшихся в дробной 
р? 
иц, = е. Е. Отсюда исходят требования к допустимым генерирующим 
соотношениям: они не должны в своих определяющих контрастах 
смешивать линейные факторы и факторы взаимодействий. Поэтому 
описанный редукционный приём возможно использовать лишь только, 


т-реплике факторов {, &, .... Последние не должны совпадать с и 


начиная с п =5. Так, например, при п = 5 применяют генерирующее 
соотношение типа ; = * © &; '/сопределяющими контрастами в ряду 
ЕР ЩЬБЕЦ В БЕК ЩЕ =Н "5, которыене 
смешиваются другс другом ис ‚65,154, 15,1, 4,55, 4 
иВ - Ц. Прип=би при п = 7 применяют одно и то же генерирующее 
соотношение {== `В `В. Щ - Е. Прип = 8 возможно применение 
сразу 2-х соотношений (= `В Ци = ``. Кеш=п- 2. 
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Приведём примеры для начальных планов при п =3, 4 и 5, легко 
обобщаемых при п > 5. 

Полный 3-ЦКП Бокса — Уилсона есть композиция из плана 3-крест 
с плечом 8 = 1,215 по формуле (577), единичного плана 3-куб и нулевой 
центральной точки е = 0. 

Полный 4-ЦКП Бокса — Уилсона есть композиция из плана 4-крест 
с плечом 8 = 1,414 по формуле (577), единичного плана 4-куб и нулевой 
центральной точки (, = 0. 

Полный 5-ЦКП Бокса — Уилсона есть композиция из плана 5-крест 
с плечом = 1,596 по формуле (577), единичного плана 5-куб и нулевой 
центральной точки ( = 0. 

Дробный 5-ЦКП Бокса— Уилсона есть композиция из плана 5-крест 
с плечом = 1,547 по формуле (577), единичного плана 4-куб и нулевой 
центральной точки ® =0. Здесь используется, дробная 4-реплика и 
генерирующее соотношение & =‘ Ц. 

Нижеданы формулы для оценок информационной и ковариационной 
матриц планов, а также формулы для оценок коэффициентов регрессии 
и их дисперсий применительно к модели линейной регрессии (596) и 
к исходной модели (564) на основе общих вычислительных формул типа 
(508), (517) и (518). 

Диагональная информационная (К+1)х(К+1)-матрица имеет вид: 


\=\' = У"У = Бк-ужкно = 








\ 0 0 0 
ом. 0 0 
= й (578) 
0 о чи 0 
оо ом, Ты 
М-1 
дем= У 4 =2" +21+1=М, 
а0 
м-1 
м=У ва =2" +22? =4-М=2"/4, 
а=0 
= ь. 2: 2.4 
=» (в 4) )=2”. (1-9 +2(=- 9+ 1-14 =2=', (579) 
9=0 
М-1 
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Формулы (577) и (579) доказываются из, во-первых, независимости 








коэффициента р =а,; /2 от коэффициентов 6, =а,, 6, =а,, в а; при 


любом значении 8 и, во-вторых, независимости ом в, =а,;/2 
от коэффициентов р —а, 12 (р=п+1-=2п), но только при определённых 
значениях 8. Все 4 формулы для параметров получают суммированием 
квадратов факторов: \\ = +1, Ир =, ты (г 9), и =Ё - 6. 

В соответствии с (508) при нецентрализованной линейной регрессии 











компоненты вектора Ъ, или коэффициенты р (где индекс р пробегает 


значения от 0 до К) вычисляются при п > 2 как 


Б=(\.У).У-у [кы- @оа 


2 


Отсюда, с учётом (576), имеем: 








М-1 п 
6, =ао => 5. /\ =4+—=.» ан, 80 =, =; — (580) 
9=0 У мы 2 
М-1 а 
5 = .7 О > ИЕ 
Бр =. Ча) Уа/ У: =ар р =, 8, = _ (581) 
9=0 Х; 
М-1 . В 
й * ыы а, Я . а.. р 
=> пра а/м = 9ь = -9, 5, = В, : (582) 
9=0 х; 
м . (583) 
а. М нае ва ы 
р В За р-р а." 
а=0 Ах, -Дх, 


Диагональная ковариационная (К+1)х(К-+1)-матрица имеет вид: 


о 0 0 0 
ое. 0 0 

С= > 
О 0 с 0 
0 0 0 с. а 


где су= о |, с, = У |, с> = и с. = | вычисляют из (578). 
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Теоретически из (518)-(520) и (580)-(583) вычисляются дисперсии 
для случайных ошибок независимых коэффициентов регрессии: 


5" {&,} = <° {9} -с, -@+п-с, /с.), (584) 


где также применяются формулы (577) и (579); 


5’ {5} =0° {5} ©. /А°х,, (585) 
5? {1/2.8;}=0? {9} с, /А“Х,, (586) 
с? {а =” {5} -с; / 2х, АЖ (587) 


Вычислительные параметры простейших планов Бокса — Уилсона 
приведены в таблице 4. 


Таблица 4. Основные параметры п-ЦКП Бокса — Уилсона при п < 8 






































п т М & 4:10 | су:10 | с;-10 | с›-10 | с,-10 
2 2 9 1 6,667 | 1,111 | 1,667 5 2,5 

3 3 15 1,215 | 7,303 | 0,667 | 0,913 | 2,296 | 1,250 
4 4 25 |1414| 8 0,4 | 0,5 | 1,25 | 0,625 
5 5 43 1,596 | 8,627 | 0,232 | 0,270 | 0,770 | 0,312 
5 4 27 1,547 | 7,700 | 0,370 | 0,481 | 0,873 | 0,625 
6 6 77 1,761 | 9,117 | 0,130 | 0,142 | 0,520 | 0,156 
6 5 45 1,722 | 8,433 | 0,222 | 0,264 | 0,564 | 0,312 
7 7 143 | 1,909 | 9,461 | 0,070 | 0,074 | 0,376 | 0,078 
7 6 79 1,885 | 9,001 | 0,127 | 0,141 | 0,389 | 0,156 
8 8 273 | 2,045 | 9,684 | 0,037 | 0,038 | 0,286 | 0,039 
8 6 81 2,001 | 8,889 | 0,123 | 0,139 | 0,312 | 0,156 
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В обоих изложенных плановых методах оптимизации 2-го порядка 
движение к экстремуму осуществляется по директивному вектору: 


в= (-6)'.=. (588) 


Его компоненты имеют те же самые размерности, что и компоненты х. 
Поэтому при изменении масштабов х; они преобразуются ковариантно. 

Если матрица Гессе С на области данного плана плохо обусловлена 
(т. е. 4еЁС = 0), то для однозначности и устойчивости результатов 
целесообразно использовать метод регуляризации Тихонова ($ 5.10). 
Как параметр квадратичной регуляризации, например, можно выбрать 
0, = тах{ 5; / Ах; } —> 0. Тогда в итоге имеем устойчивую оценку: 


Ра =- (б +01)". =. (589) 


Условие значимости любого коэффициента линейной регрессии 
в данной модели выражается через его плановое среднее квадратичное 
отклонение как: 


|6 >1 ‚ (2, к). 





(590) 


где $ — двусторонний критерий Стьюдента для принимаемого уровня 
доверительной вероятности при м гипотезы (как правило, 0,95) 


и числа К степеней свободы дисперсии $ (6, )— см. $ 6.3. Число К есть 

количество независимых случайных величин У в формуле для 5, 
Незначимый коэффициент регрессии 5 если он только О 

к влияющему фактору ц› можно сделать НАЗ, увеличив интервал 


а. 


варьирования переменной Дх; для факторов типов и, = и и, или 


увеличив интервалы варьирования Дх; и/или Ах, я авторе у, = е. в. 
Разумеется, влияющие факторы и, отбираются только в самом начале 
процесса оптимизации. Далее по мере приближения к окрестности 
стационарности (экстремума) целевой функции У(Х) и тем более на ней 
факторы типа и, = Е, ‚ согласно лемме Эйлера — Ферма, мало влияют, 
так как первые частные производные функции стремятся к нулю! 
Критерием остановки общего процесса является ограничение всех 


коэффициентов регрессии типа и, = {, согласно неравенству (590). 


р 
Исходя из коэффициентов в точке стационарности $ строят итоговую 


модель целевой функции отклика без линейных членов. 
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В таблице 5 дано количественное сравнение рассмотренных выше 
в $5 7.5 и 7.6 планов эксперимента по числу точек М — без учёта числа 


точек в центре плана, которые нужны всегда для оценки дисперсии 


воспроизводимости (540). 


Таблица 5. Сравнение планов эксперимента по числу точек 



























































осевой | плоскостной а 
п-СКИ или его п-ЦКИ 
п ш | п-крест п-крест 
М п1-реплика М 
М М 3 5 
1 2 М 
4 
2 2 5 4 9 4 9 
3 3 7 12 19 8 15 
4 - 9 24 33 16 25 
5 5 и 40 51 32 43 
5 4 - - _ 16 27 
6 6 13 60 73 64 77 
6 5 ы - _ 32 45 
7 7 15 84 99 128 143 
7 6 —ы - _ 64 79 
8 8 17 112 129 256 273 
8 6 —ы - _ 64 81 
Здесь № =21+1=М" +1, №=4. п: (- 1)/2= 212 — п) = №, 















































М; =21+4-п. (и-1)/2+1=202+ 


1 


М +М№+1, 


М =20 ут = М, М; = М+М +1, 














где М *, М 


и м —_ число точек в элементарных планах: неполный 


осевой П-крест, плоскостной п-крест и П-куб или его дробная реплика. 
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В таблице 5 жирным шрифтом отмечены числовые характеристики 
для трёх вышерассмотренных методов планирования эксперимента, 
использующих модели неполного и полного 2-го порядка. 

Из таблицы 5 видно следующее. Во-первых, план П-крест с работой 
по модели (554) требуетзначительно меньшего количестваточек, нежели 
оба композиционных плана с работой по модели (564). Во-вторых, для 
работы с моделью (564) при п < 5 оба композиционных плана требуют 
сопоставимого количества точек; но при п > 5 имеется значительное 
преимущество у дробных реплик П-ЦКП, хотя, очевидно, полные п-ЦКП 
с дальнейшим ростом п по числу точек всё более проигрывают п-СКП. 
Здесь также, как в директивных численных методах поиска экстремума 
(гл. Зи 6), скорость сходимости процедуры оптимизации определяется 
необходимым общим числом точек на двух повторяющихся стадиях: 
(1) — нахождение модели целевой функции (всех еб коэффициентов 
свычислением директивного вектора); (2)—одномерная оптимизация по 
направлению директивного вектора. С моделью неполного 2-го порядка 
(по масштабно-градиентному методу) требуется в сравнении с моделью 
полного 2-го порядка (по общеньютоновскому методу) значительно 
меньше точек на 1-й стадии, но большее число точек на 2-й стадии. 
Кроме того, количество повторов общей процедуры до достижения 
экстремума функции, очевидно, во втором случае значительно меньше. 
Можно прибегать к испытанному приёму: вначале применяется метод 
с моделью (554), а на заключительном этапе — метод с моделью (564). 

В планово-экспериментальных процедурах на скорость сходимости 
всего процесса существенное влияние оказывает достигаемая точность 
при нахождении отдельных значений целевой функции в точках плана и 
на директории одномерной оптимизации. Эта точность характеризуется 
выборочной дисперсией 5? {5}, определяемой в нулевой точке плана 
эксперимента. Например, если формально тут принять, что случайного 
отклонения нет, то скорость сходимости процесса будет тождественна 
таковой в численном прототипе данного метода экспериментальной 
оптимизации. Реально такая картина оптимизации возможна тогда, когда 
относительная ошибка при измерении функции значительно меньше 
относительной ошибки регрессионной модели (550), причём последняя 
укладывается в приемлемый уровень 5% (см. 5 7.4). Обычно случайная 
ошибка модели вносит весьма заметный вклад в её общую ошибку. 
Согласно (551), этот вклад даже можно оценить через статистический 
подход. С другой стороны, систематическая ошибкамодели определяется 
достигаемой точностью при вычислении её коэффициентов регрессии, 
что зависит от того, какой план эксперимента для этого используется. 
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Разумеется, начальный коэффициент модели 5. никак не влияет на 
сам директивный вектор, но его смещение приводит к параллельному 
сдвигу директивного вектора. Однако влияют все прочие коэффициенты 
регрессии. Поэтому 5, в масштабно-градиентном и общеньютоновском 
методе в $$ 7.5 и 7.6.1 определяется как несмещённая оценка 8, = Ух: 
Но по п-ЦКП Бокса — Уилсона, согласно (580), вычисляется смещённая 
оценка этого начального коэффициента, как правило 5. = У., которая 
для целевых функций, разлагаемых в степенной ряд порядка более 2-х 
всегда содержит непредсказуемую алгебраическую сумму членов ряда 
порядка 3-х и выше (см. далее). Отсюда директория также смещается! 

Используя представление целевой функции отклика бесконечным 
степенным рядом Тейлора (с предположением об её аналитичности), 
получаем теоретически для планов эксперимента в $$ 7.5, 7.6.1 и 7.6.2 
смещения всех коэффициентов регрессии моделей (554) и (564). Как 
простейшие составляющие, применяем представления коэффициентов 
тех же самых моделей функции, но исходя из элементарных планов 














+ Га Са 
эксперимента: а* для плана неполный осевой п-крест (М "= 21), аб для 














плана плоскостной п-крест (№8 =4 п. (п- 1)/2), а№ для плана п-куб 
(№ =21), — а также 0) = У) = 84 как точный начальный коэффициент. 
В случае полного плана п-крест (№, =2 п +1) и модели (554) 
имеем: 
— для начального коэффициента Ла, = 0; 
— для коэффициентов а, иа., по формулам (557) 
да, = а: Об 
: + (591, 592) 
(а; /2)=а; /2-— ©; /2, 


где 
[ее] 
р 
а =а, + > ан /(2к+1)!, 
К=1 


„> /(2к+2)!, 


[©.0] 
+ "ана 
а; /2=9,;/2+ и 
= 


т.е. с первыми в рядах членами в виде 
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В случае п-СКП (М. = = 2102 + 1) и модели (564) имеем: 
— для начального ция да, = 0; 
— для коэффициентов а, а. и а, по формулам (570) 


. | 
_ 2аё +4®-0-а; _ 
2+4(в-1) 


п 
А(а: /2)={6-ай+ У [е-аз+(-9.2а1+а,) 
= 60 


и 
ый; © (а Нани) И 
ш= +1011) 
ы |8} 
ла, =а, о, 


где Ъ, си 4 имеют значения, согласно формулам (569), 


+ + 
а; иа,; /2— см. выше, 


Я =: + аа, / (2р+1)!+ 
р=1 





(593—595) 


+@-0" у у Ор (ВВ) 1х / (2р+1)! (291, 


В=1 (6329) К=а>0 


. - = а... р И | | 
а, /2+а,/2=а, /2+9, 12+ воды / (ор)! (2а)! 


— ДЛЯ примера, 
[©.е) 
аз =о + ооо, / (2р+г)!(2а+т)!; 


т.е. с первыми в рядах членами в виде 


а; = а; +9,;; /З!+9,.; /5!+...+ 


ии 
а, Нана, 


01 111 ШИ 


13121... 


а: /2+а, = 0; 12+ [2 +4.... 14! ©... ГАН о... [212!+... 


ПИ Ш Ш) 


= бе. За. Зо Ее 
а, = о +: ЗН о: ЗН о / 5 она /З!ЗН ОН, 


15!+ 
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В случае п-ЦКП (№; = 21 +21 - 1) и модели (564) для вычисления 
смещений применяем исходные формулы для сложных коэффициентов 
регрессии (580)—(583), таблицу плана (575) и разложения в степенной 
ряд простых коэффициентов для элементарных планов. 

Причём при дробном п-ЦКП в формулы для смещений вводятся 
дополнительные слагаемые в части составляющих от плана П-куб. Для 
их получения индексы истинных коэффициентов @ в части от П-куба 
символически умножают на алгебраическую сумму из определяющих 


контрастов (с попутным сокращением квадратов к. = 1) [46,с. 134] — см. 


о контрастах в $ 7.6.2. Для дробного п-ЦКИ (М5 = 27 + 2п + 1) и модели 
(564) в главных формулах для смещений 4-х коэффициентов делается 
замена 2" — 2". Далее вычисляем смещения (где 0 =Уу= 8). 


Для коэффициентов а, а.., а, по формулам (581)—(583), с учётом 


плана, аналогичного (575), имеем: 


я, _ 2в.(в-а;) +2" -а. _ 2в-(в-а;) +2” -а 


' м 25? +2" 





о, — (596) 


(а; /2) = {-4-а, + (=? — 4). (25° аз /2+29,)- 
п 
—4.[2=°-(У'ан /2-ах /2)+(21-2)-0,]+ 
Г=1 
+(1-9)-2" ав }/\, -@; /2 = 


м 
={-4- 0, +2=" а: 12+ (= —9)-2о, —4.2=? “Улан /2- 


Г=1 


п 
_4. (21-2) 0%, + (1-9) -2". [0 +». СМ +4} /\,- 9; /2 = 
т 





= {о [-4 + 2(=’—4)- (2п-2)-9+2“.1-9)]+2=“ а; /2+ 


п 
+[-9-2=”+ (1-9)-2"].У`а./2+а-9)-2". 4} м, /2 = 


Г=1 


4 2 
= {25 .а;/2+-9)-2°. А/\,- 4. /2=а,/2- 4. /2+9-А/=°, (597) 


ла" =а.. — с... (598) 
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М-1 со п 
" _ — п _ 
а, = уз Уч 12 = 5 ых 2 бес: (а -- Лак /2к, |2 ', 
а=2п- К 9=1 1 ь 


/(2к+1)!, 


[2.9] 
+ 2к+1 
=.а. =5:9. + > 5 а... 
: = (к 


[2.9] 

2 + 2 2+2 

5 а, 2=Е Я тЫ /(2к+2)!, 
—1 


нь 


[9] п 
а" = —— лв на прак, 2%! Коз +1..2К, 
+ 


9=1 
[0.0] п 
И 1 > 2. тк - 9-2 0-2 ба 14а 
/2к, 1..2) +11 2К., +11..2К. |, 


т.е. с первыми в рядах членами в виде 
ау = + (11/2! Е... + Чпр/2! + 9 111/41 + 0 1122/2121 + 0 1133/2121 + ...) й 





ат = 01 (0111/21 +... + 0/31 +... Оззи 1+ 0111/41 + 081122/212! +...) , 





ат 04; + (0411/21 =... + Ч@лыЗ! +... + ИЗ! +... + бат! + али + 


п п 
+ + 
а, =©, + а 2+ А = 0 + У ан / 2— сточностью до членов более 
Г=1 т=1 


3-го порядка, образующих ещё смещение Д, что использовано в (597); 
25*-4.2=?+(1-9).27 = 2(=? -4)* +@-9)*.27 + (21-1. =%,, 
согласно левой части формулы (579), т. е. при любом значении 8, что 


прямо смешивает а,/2 са../2; 


[-4+2(=° -4)-(2п-2)-4+2".(1-49)]=0 при любом значении 5, 
что уничтожает в а,./2 смешение с 0; 





[-9.2=? + (1-4).2"]=0, но только при значении &, согласно (577), 


или правой части (579), что уничтожает смешение а,./2 с а,./2. 
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Для а по формуле (580), с учётом плана типа (575), имеем: 


п 
. 2 
(м, +2п-а“ +2" -а,)- (25 +2"). ‘ан /2 


Т=1 








да, = р 
° 1+21+2" 0 
_ в, -1+21+2") +2" .1-(+20+2")?.п/=?]-А _ 
1+20 +27 0 
2 
=2".1/ +20 +2“) -(+20+2").п/='].А, (599) 
где 
2 ще, 
ть банты 9 
Ч=п+1 Й р К= 
М-1 55 С 
0 Ч 0 (п.п )рк, ---а--4)2к 1! Ка 
а=2п-+1 Е 9 ] 7 


т.е. с первыми в рядах членами в виде 


2 2 4 4 
а, = 0% + (& * би/21 +... + 8 * ии! + & + бити + 8 0 2222/41 + ...)/й , 





ау = 0+ (011/21 +... + @лр/21) + © 1111/41 + 94 1122/2121 + @ 1 133/212! +...) ; 


п 
+ 
аз = 0 + а: /2+А— см. выше, 
г=1 


п п п 
Уа, /2=У ай /2+п-4)2"-А/2=‘ =У ‘ак /2+(п.4/=”)-Л, 
т=1 т=1 т=1 
с учётом (577), 2" - (2=* +2") -4-п/=? =2' 1 -(1+21+2")*-п/=”]. 
Обратим внимание здесь на то, что в моделях функции 2-го порядка 
с начальным членом, формируемых по элементарным планам неполный 
п-крест и п-куб, начальный коэффициент модели смешан, как показано 
выше в степенных рядах, с коэффициентами 2-го и более порядка, откуда 


и возникает необходимость преобразований: Ир и * иа, а». 

Проанализируем последовательно формулы смещений (591)-(599) 
на предмет имеющихся отличий разностных коэффициентов модели от 
родственных истинных коэффициентов в разложении целевой функции 
в степенной ряд Тейлора. Иначе говоря, проанализируем возможные 
систематические смещения для коэффициентов регрессионных моделей 
типа (554) и (564) и соответственно целевой функции отклика. 
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В случае полного плана П-крест и модели (554), согласно (591) и 
(592), приведённые коэффициенты а, смешиваются, главным образом, 
только с одноиндексным коэффициентом 3-го порядка малости 0... 31; 
но приведённые коэффициенты а../2 смешиваются, главным образом, 
только с одноиндексным коэффициентом 4-го порядка малости 0...../ 41. 
(При этом начальный коэффициент модели а, = 0, =, =уУо не смещён.) 

В случае п-СКП и модели (564), согласно (593—595), приведённые 
коэффициенты а; смешиваются, главным образом, с коэффициентами 
3-го порядка малости — дважды с одноиндексным о... 3! и единожды 
с каждым из ненулевых коэффициентов типа 0,../21; но, например, 


а../2 смешиваются, главным образом, с коэффициентами 4-го порядка 


../4! и единожды с каждым из 


малости — дважды с одноиндексным 0; 


5/212'; приведённые коэффициенты 
а; смешиваются, главным образом, с одноиндексными коэффициентами 


ненулевых коэффициентов типа 0 


4-го порядка малости типа 0..../3! и 0.../3!. (При этом начальный 
коэффициент модели а, = 0% = 5 = уд не смещён.) 

В случае п-ЦКП и модели (564), согласно (596), приведённые 
коэффициенты а; смешиваются, главным образом, с коэффициентами 
3-го порядка малости — с одноиндексным =2-0,;/3! и с каждым из 
ненулевых коэффициентов типа 0, (/2!; согласно (598), приведённые 
коэффициенты а.: 


у 
- | 
коэффициентами 4-го порядка малости типа 01/21, [0 


смешиваются, главным образом, с ненулевыми 


ИЗ! и 0,;../31; 
согласно же (597) и (599), приведённые коэффициенты а,./2 и 
начальный (смещённый) коэффициент ау смещаются соответственно 
на величины (4/2)-Д и 2" .[(1+2п+2")-п/=° —1/(1+21+2"}]- А, 
т. е. смешаны, главным образом, с каждым ненулевым коэффициентом 


4-го порядка малости типа 0/4! и © /2!2!. При этом особенно 


ВВГ, 
предсказуемо сильно (из-за слишком большой величины коэффициента 
перед смещением ДА — примерно 2 [+20 + 2") -п/ =?] смещается 
коэффициент ау, что так же смещает и оценку точки экстремума! 
Таким образом, по указанным формулам возможно анализировать 
смещения всех коэффициентов моделей для рассмотренных планов. 
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Математическое ожидание для квадрата отклонения коэффициента 
регрессионной модели от своего истинного значения в степенном ряде 
Тейлора выражается через его дисперсию и смещение как 


в (8 - в) =^76 +07 (8). (600) 


Эта зависимость сходна с таковой для суммы квадратов отклонений 
целевой функции (408) при линейной регрессии типа Ух ($ 4.7) и для 
дисперсии адекватности (547) значений функции У и у ($ 7.4). Отсюда 
видно обоюдное количественное влияние на достигаемую адекватность 
модели и целевой функции отклика и случайного, и систематического 
отклонений от истинных значений коэффициентов, а, следовательно, и 
на эффективность процесса экспериментальной оптимизации в целом. 
Поэтому особенно на последних этапах планово-экспериментальной 
оптимизации при выборе плана эксперимента с моделью 2-го порядка 
для оценки точки экстремума и для аппроксимации целевой функции 
такой моделью в её окрестности необходимо принимать во внимание 
статистическую оценку имеющегося реального соотношения вкладов 
случайной и систематический ошибок, согласно формулам (551). 

Вышеизложенный сравнительный анализ двух вариантов процедур 
для планово-экспериментальной оптимизации 2-го порядка позволяет 
сделать практический вывод: П-СКИ предпочтительнее при заметно 
большем вкладе систематической ошибки; Пп-ЦКП предпочтительнее 
при заметно большем вкладе случайной ошибки. В первом случае более 
минимизируется различие целевой функции и её степенной модели 2-го 
порядка; во втором случае более минимизируется имеющийся разброс 
экспериментальных значений целевой функции — в точках на области 
плана эксперимента. Но в любом из рассмотренных вариантов процедур 
ортогональность или субортогональность матрицы плана эксперимента 
весьма упрощает вычисление коэффициентов модели. 

Помимо этого любая модель регрессии для функции отклика должна 
обеспечить удовлетворительный уровень относительной ошибки (550), 
например, не более 5%. Этому способствует как сужение интервалов 
варьирования факторов (но замедляет движение к экстремуму), так и 
повышение точности экспериментов (но наиболее затратным путём — 
увеличением числа опытов). Разумеется, планирование эксперимента 
при оптимизации целевой функции отклика требует очень взвешенного 
подхода ко всем таким возможностям и последовательного применения 
моделей 1-го и2-го порядка. Крометого, — это не чисто алгоритмическая 
процедура, а комплексный творческий процесс, базирующийся ещё на 
профессиональных знаниях и интуиции исследователя. 


Приложение 


Физико-математическая кунсткамера 


Ниже приведён ряд вопросов и задач, ответы на которые можно 
получить, например, изучив содержание ряда отдельных глав данной 
монографии и более ранней книги автора «Тензорная тригонометрия. 
Теория и приложение» —М: Мир, 2004. 





1. Продолжите однозначно арифметические действия: 
2х2=11=2+2; 
Их =121, 1+1 =22; 
121 х 121=? 121+121=? 

Объясните, какая целевая функция в этой задаче оптимизирована и 
от какого аргумента? 





2. Укажите простейший способ общего решения дифференциального 
уравнения вида: 
2. 422/Ах2 —3. (42/9х)? +6.2> = 0, где 7х) + 0. 

Решите в общем виде задачу Ньютона, связав рекуррентно и явно 
коэффициенты обратного и прямого аналитических степенных рядов. 





3. Дайте вещественное представление пары сопряжённых комплексных 
чисел, а также покажите основные вычислительные операции с ними 
с их обычными свойствами, не прибегая к мнимой единице. В чём здесь 
проявляются различия между сопряжёнными комплексными числами и 
особенности в вычислительных операциях с ними? 

Покажите также, что любое вещественное алгебраическое уравнение 
степени п имеет полное и единственное вещественное общее решение 
с точностью до реально допустимых перестановок. 





4. Выразите формулы Кардано (п =3) и Феррари (п = 4) через малые и 
большие медианы вещественного алгебраического уравнения степени п 
в знакопеременной форме и с положительными коэффициентами. 
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5. В 1-й половине ХХ века Урбен Леверье, применив при обращении 
пхп-матрицы созданный им алгоритм для вычисления её скалярных 
характеристических коэффициентов и еб степеней, открыл на кончике 
пера неизвестную ранее планету Нептун. Для характеристических 
коэффициентов пхп-матрицы В и её целочисленных степеней порядка 


при 1 < {< п докажите следующие утверждения: 


























а) Если" В=Н В? =...=ц В! =...= 5 ВЕ = Ве = +1, 

то К(В,0) = 0 и, в частности, при {= п: 4её В = 0. 

6) Елин В=иВ2=...=иВ!-=...= 5 ВЕТ=ы В" = -1, 

то К(В,® = (-1)'и, в частности, при { = п: де В = (-1)1. 

в) Если" В=Ц В? =...= и В! =..=&ВЕ1=ы В! 6, то К(В,®) = +1. 
г) Если-иВ=и В? =... = (-1ы В! =... = СИН ВН = УЕ Ве-Ь 
то К(В,0 = (-1%. 

д) ЕслииВ=и В? =..=ШВ!=... и ВЕТ =Ы В" = п, то К(В, 0 =С и. 





е) Если —и В =НВ? =.. = (-ГиВ!=... = СОНТавВЫ = (-БиВЕ= п, 
то К(В,®) = (-Г7. г. 








6. Целочисленные матрицы хранят в себе довольно много загадок и 
закономерностей. Ниже приведён ряд примеров для @*(-матриц. 


Докажите следующие формулы: 




















1 1 0 0 0 0 
1 1 2 0 0 0 
1 1 1 0 0 0 
4е |... |... |... а | а. |0. (1) 
1 1 1 Е |121 0 
1 1 1 1 |1 
1 1 1 ны 1 1 1 
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де 
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=. | 6 0 0 
т. |= 0 0 
т 0 0 
|1 5 | 0 
|1 1 |0 
11 1 1 
п|о оо 
Ее |2 оо 
1 1 0 0 
{ { #2 |0 
1 1 1 1 
| | | | 
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— 1 0 0 0 0 
1 — 2 0 0 0 
—4 | — 0 0 0 
Че 
(ЕСО 0+ — е2 0 
(ВЕСЕ СЗ | — +1 
СП СЕ — { — 
п 1 0 0 0 0 
п п 2 0 0 0 
п п п 0 0 0 
4... ||... 
п п п п 2 0 
п п п п п 1 
п п п п п п 
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=. вич: =Оприйе\ь 
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(4) 


(5) 


















































318 Приложение 
—п 1 0 0 0 0 
п —п 2 0 0 0 
и й я ооо 
О, за. | | = 
СПЕ а | СПЕЗа | СОН а 5. Ч: |0 
(СВЕ | СПЕ? | СОЗ а п || 
а ЕЕ | СО а |. |=щ| а |= 
= (-0-С вт ч. = 0 прип < +. (6) 





7. Почему все указанные ниже алгебраические уравнения обязательно 
имеют комплексные сопряжённые корни и при этом с положительными 
вещественными частями? 


у(х) = хз — 10х* + 
у(х) = хз — 10х* + 
у(х) = хз — 10х“ + 





+ 40х3 — З0х? + 
= 40х3 — 70х2 - 
+ 40х3 — З0х? + 


у(х) = х? — 25х4 + 90х3 — 640х2 





у(х) = хз — 25х* + 


+ 90х — 64 =0, 
+ 80х — 64 =0, 
+ 75х — 60 =0, 


+ 80х —1=0, 


+ 160х3 + 80х —-1=0. 





8. Чем принципиально различаются два понятия: «рефлектор-тензор» 


и «срединный рефлектор тензорного угла» — в бинарных геометриях 
с квадратичной метрикой (несмотря на схожесть их выражения)? 





9. Изобразите для обобщённых окружностей и псевдоокружностей на 
вещественной аффинной плоскости графики функций У(Х): 

а) УР = [ВГ, 
п=0, 1/4, 1/3, 1/2, 1, 3/2, 2, 3,4, <; 
6) УГ РЁ | = ВР, 
п=0, 1/4, 1/3, 1/2, 1, 3/2, 2, 3,4, <. 
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—щ Объясните, почему именно для евклидовых, квазиевклидовых и 
псевдоевклидовых плоскостей и пространств выбрано значение п =2? 
— Имеет ли какой-либо геометрический смысл выбор параметра п для 
аффинных плоскостей и пространств? 
(Вопросы, в частности, имеют прямое отношение к обоснованию МНК 
и квадратичной регрессии, квадратичных метрик, а в физике — СТО.) 
Дайте сравнительный анализ ряда обобщённых тригонометрических 
функций при целых значениях п > 1: 
у/В = Зшф = ТНу, х/В = Соз ф = 5спу —> ЗВ у = Тя ф, СБу = ес ф; 
|Соз фр + |3 фр = 1 (|Соз ф| = с052, |5 ф[ = $1126); 
СВУ — [В У = 1 (СВУ = св, [$8 у = 3829) 
(при п = 2 тут имеет место адекватная сферическо-гиперболическая 
аналогия типа: у/К. = зш ф = Шу, х/В = с0$ ф = $СВ 7 <> 
<> $Н у = (© ф, СП 7 = $6С Ф). 











— Почему углы в квадратичных геометриях и тригонометриях, т. е. при 
п =2 (евклидовой, квази- и псевдоевклидовой), как геометрические и 
алгебраические объекты имеют природу двухвалентных тензоров? 





— В чём состоит формальное различие между абстрактной и адекватной 
аналогией в тензорных и скалярных квадратичных тригонометриях? 





10. Исходя из вышеуказанной адекватной аналогии возникает некий 
гиперболический аналог @ сферического угла д/4: 

$В в = © 7/4 —> о = АгЗП 1 = 0,88 Трад, п/4 = агсёе 1 = 0,785рад. 
Оба числа (константы) представляются сходными степенными рядами: 
п/4 = агсе 1 =1 - 1/3 + 1/5 - 1/7 +...+ (17. Иба+ +... 
(Указанное разложение для числа 7/4 известно как ряд Лейбница), 

© = АгзВ 1 =1- (1/2)/3 + (1.3/2-4)/5 — (1.3-5/2-4.6)/7 +... 

... + СТ. [1.3.5...(2п = 1)/2-4-6...2/(2 + Т)+.... 

Для них же имеются степенные ряды с более высокой скоростью 
сходимости. Например, для числа @ имеется ряд с дополнительным 
трансцендентным слагаемым 2: 

в = АтсВ 212 = (3/2). ш2 — [1/(2.2-1.21) НЕ 1.3/(2-4.2.2.22) + 
но 1-3-5/(2.4-6.2.3.23) Еань 
 1.3.5.....(2а — 1)/(2-4-6.....2п-21.28) +... ]. 


— Покажите: почему число 0) тоже трансцендентное, как и число 1/4? 





— Дайте геометрическую трактовку угла ©. Почему © > 1/4? 


320 Приложение 


11. Докажите соотношения для скалярных коэффициентов порядка й: 
К(А-А,', = К(А"А,, = К(А>-Ау’, = К(А>АТ, 0, 
где А) и А> — пхт-матрицы. 





12. Дайте матричную интерпретацию скалярной формулы: 
4е В а Че (В Ср) $ ае В; —_ ае В 
С-В). С-В Сь) де В» 4еВ., 
<> де В, -4еВ,, =4е В, -4еВ.,, 


гдеВиС - гхг-матрицы ранга г. 


<> 





13. Укажите схему приведения квадратичной формы У(х) =х'.В -х, где 
* ® 

В#В’,, и эрмитовой формы у(х)=х `В.х,гдеВ*В , кканоническому 

виду (к алгебраической сумме квадратов) ортогональным и унитарным 


преобразованием исходного базиса. Для каких типов пхп-матриц В эти 
формы всегда нулевые в любом допустимом базисе? 





14. Для сингулярных матриц, задающих какой-либо иланар или линеор, 
выпишите в едином обозначении все возможные характеристические 
проекторы — ортогональные и косогональные: 
8 — для вещественной квадратной матрицы, 
12 — для комплексной квадратной матрицы, 
4 — для вещественной прямоугольной матрицы и 8 — для их пары, 
6 — для комплексной прямоугольной матрицы и 12 — для их пары. 
Составьте таблицу умножения характеристических проекторов. 
Почему парные ортогональные и косогональные характеристические 
проекторы обмениваются собственной природой при трансформациях 
из квазиевклидовой в псевдоевклидову геометрию (тригонометрию) и 
обратно? Имеются ли геометрические различия между ортогональными 
и симметричными, косогональными и несимметричными проекторами 
в пространствах с квадратичной метрикой? Когда характеристические 
проекторы являются, по сути, аффинными? 


15. Что объединяет известные плоские кривые: циклоиду и трактрису? 
Опишите тела их параметрического вращения. 

Каким общим свойством обладают окружности и сферы, равнобочные 
гиперболы и гиперболоиды, цепныелинии и катеноиды, атакже циклоиды, 
трактрисы и псевдосферы? Каков их единый определяющий параметр? 
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16. Какой угол задаёт отрезки в гиперболической геометрии, а также 
движения в псевдоевклидовой геометрии и в теории относительности? 
Взаимосвязан ли он как-то с углом параллельности Лобачевского? 

Поясните тригонометрическое отличие в математическом описании 
основных релятивистских эффектов: замедления времени Эйнштейна и 
сокращения протяжённости Лоренца. 





17. В чём состоит суть математического принципа относительности 
в геометриях и как он корреспондируется с физическим принципом 
относительности в природе? 





18. Когда целесообразно применение понятия физико-математический 
изоморфизм? В чём его суть? 

Могутли иметь место понятия: химико-математический изоморфизм, 
биолого-математический изоморфизм и т. п.? Какова первичная основа 
подобных понятий? 





19. Какая имеется связь между общей кривизной мировой линии и 
2-ым законом механики Ньютона? Какие частные виды кривизны 
мировой линии имеют место в четырёхмерном пространстве-времени 
Минковского? Как они отвечают характеру физического движения 
материальной точки? 

Дайте формулировку 1- и 2-го закона механики Ньютона в терминах 
геометрии мировых линий в пространстве-времени Минковского. 


20. Укажите аналоги релятивистских формул Эйнштейна для полной 
энергии Е = с? и для внутренней энергии покоя В = пос" также 
для величин: полного импульса Р и внутреннего импульса покоя Р\ 
материального объекта соответственно массой т и 1. 

Если в четырёхмерном псевдоевклидовом пространстве-времени 
Минковского выбрать тригонометрический псевдодекартов базис, 
в котором с = 1, то останется ли в нём какое-то физическое различие 
между характеристиками т, Ри Е? 





21. Знаконеопределённый метрический тензор задаёт метрику п-мерного 
пространства, причём либо квази-, либо псевдориманова с касательным 
в каждой его точке либо квази-, либо псевдоевклидовым пространством. 
Что требуется для задания конкретной метрики из этих двух вариантов 
и соответственно П-мерного пространства в целом с таким тензором? 
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